WO2024051271A1 - 一种数据处理方法及装置 - Google Patents

一种数据处理方法及装置 Download PDF

Info

Publication number
WO2024051271A1
WO2024051271A1 PCT/CN2023/101752 CN2023101752W WO2024051271A1 WO 2024051271 A1 WO2024051271 A1 WO 2024051271A1 CN 2023101752 W CN2023101752 W CN 2023101752W WO 2024051271 A1 WO2024051271 A1 WO 2024051271A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
target
group
data set
acceleration device
Prior art date
Application number
PCT/CN2023/101752
Other languages
English (en)
French (fr)
Inventor
吕政�
冯犇
Original Assignee
华为技术有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 华为技术有限公司 filed Critical 华为技术有限公司
Publication of WO2024051271A1 publication Critical patent/WO2024051271A1/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F7/00—Methods or arrangements for processing data by operating upon the order or content of the data handled
    • G06F7/06—Arrangements for sorting, selecting, merging, or comparing data on individual record carriers
    • G06F7/08—Sorting, i.e. grouping record carriers in numerical or other ordered sequence according to the classification of at least some of the information they carry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/01—Dynamic search techniques; Heuristics; Dynamic trees; Branch-and-bound
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Definitions

  • the present application relates to the field of computer technology, and in particular, to a data processing method and device.
  • Data can provide companies with a basis for making decisions.
  • the data collected by the enterprise's computing equipment is generally scattered, and the computing equipment usually needs to process the data to obtain the data processing results. In this way, the company's staff can make corresponding decisions based on the data processing results.
  • CPU central processing unit
  • data processing is generally performed by a central processing unit (CPU) in a computing device.
  • CPU central processing unit
  • the process of the CPU processing a single data is relatively cumbersome, and the efficiency of the CPU processing a single data is low.
  • This application provides a data processing method and device for improving data processing efficiency.
  • embodiments of the present application provide a data processing method, which can be executed by an acceleration device, such as a system on chip (SoC) or a data processing unit (DPU), etc., so The method includes: sorting the first data set to obtain a second data set, wherein both the first data set and the second data set include multiple data; dividing the second data set to obtain N Data subsets, each data subset in the N data subsets includes at least two data consecutively arranged in the second data set, N is an integer greater than or equal to 2; according to the data in the N data subsets The i-th data subset is used to determine the i-th subtree.
  • SoC system on chip
  • DPU data processing unit
  • the i is passed through any positive integer from 1 to N, and a total of N subtrees are obtained.
  • the i-th subtree is used to find the i-th subtree.
  • the data included in the data subset ; perform a merging operation on the N sub-trees to obtain the tree of the second data set, and the tree is used to search for the data included in the second data set.
  • the acceleration device can divide the sorted data set to obtain multiple data subsets, determine multiple subtrees based on the multiple data subsets, and then determine the tree based on the multiple subtrees to accelerate In the process of determining the tree, the device does not require a processor or acceleration device to generate instructions and decode instructions, which reduces the data processing process and is conducive to improving the efficiency of data processing. Moreover, the acceleration device can determine multiple subtrees based on multiple data subsets in parallel, thereby improving the efficiency of the acceleration device in processing multiple subtrees, and thus improving the efficiency of determining the tree of the data set, since the process of creating a tree is a data processing process.
  • the acceleration device may be a device in the computing device that is independent of the processor. Having a dedicated acceleration device process the data can reduce the load on the processor in the computing device.
  • the manner in which the acceleration device sorts the first data set specifically includes: determining a first data group, where the first data group is a result of sorting some of the data in the first data set. Result: Compare the data at each first position in the first data group with the target data at the position corresponding to each first position in the second data group to determine the target position, where, The target position refers to the position used to insert the target data in the first data group, the second data group includes the same number of data as the first data group, and the second data group Any data included in the data group is the target data, and the target data is the data in the first data set except the partial data; insert the target data into the target position to obtain the target data. Describe the second data set.
  • the acceleration device can compare each data in the sorted data (ie, the first data group) with the data to be sorted (target data) in parallel, instead of comparing one data with multiple data one by one. , which is equivalent to comparing the target data with multiple data in parallel, improving the efficiency of the acceleration device in sorting the data set.
  • the process of sorting the data set is also a data processing process, so it can also improve the efficiency of data processing.
  • the acceleration device or processor to generate and decode instructions, etc., which is also beneficial to improving the efficiency of data processing.
  • the acceleration device can also group the second data set.
  • a process of grouping the second data set by the acceleration device includes: determining a third data group, wherein the third data group Including multiple target keys, the target key is the key of the target group, the number of data included in the third data group and the second data set is the same; each second position in the second data set is Compare the data on the position corresponding to each second position in the third data group to determine at least one data in the second data set that matches the target key; convert the at least One piece of data is determined to be the target group; the information of the target group and the target group are written into the external memory, where the information of the target group includes the target key.
  • the acceleration device can compare the data to be grouped (ie, the second data set) with the grouping key of the target group, so that at least one data that matches the target key can be determined at one time, thereby determining the target
  • the grouping includes at least one piece of data, which improves the efficiency of the acceleration device in grouping the data set.
  • the process of grouping the data set also belongs to the data processing process, so the efficiency of data processing can be improved.
  • the information of the target group may also include the number of data of the at least one data, the maximum value of the at least one data, the minimum value of the at least one data, and the minimum value of the at least one data.
  • One or more of the summation results of the data may also include the number of data of the at least one data, the maximum value of the at least one data, the minimum value of the at least one data, and the minimum value of the at least one data.
  • the acceleration device may also determine the information of the target group, so as to provide the user with more data statistical information in the target group.
  • the method further includes: determining a target execution plan, the target execution plan being used to indicate an operation to be performed on the first data set.
  • the acceleration device may determine a target execution plan, and the target execution plan includes operations performed on the first data set, such as one or more of the above sorting operations, grouping operations, or tree creation operations. In this way, it is convenient for the acceleration device to subsequently perform corresponding operations on the first data set according to the target execution plan.
  • the method further includes: receiving a first request from a processor, wherein the first request is used to request processing of the first data set; obtaining the data according to the first request.
  • the first data set further includes: receiving a first request from a processor, wherein the first request is used to request processing of the first data set; obtaining the data according to the first request. The first data set.
  • the acceleration device can receive the first request from the processor and obtain the first data set according to the first request, which provides a way for the acceleration device to obtain the first data set. Moreover, there is no need for the processor to process the first data set, which is beneficial to reducing the processing load of the processor.
  • the acceleration device and the processor may both be provided in a computing device, and the acceleration device may be connected to the processor through PCIe.
  • the acceleration device and the processor can be connected through PCIe, and there is no need to separately design a connection method between the acceleration device and the processor, which is beneficial to reducing the cost of the computing equipment.
  • the acceleration device can replace the processor to perform one or more sorting operations, grouping operations, and tree creation operations on data, which is beneficial to reducing the processing load of the processor.
  • embodiments of the present application provide a data processing method, which can be executed by an acceleration device.
  • the method includes: sorting a first data set to obtain a second data set, wherein the first data set and the second data set both include a plurality of data; determine a third data group, wherein the third data group includes a plurality of first keys, the first key is the key of the target group, and the third data The number of data included in the group and the second data set is the same; compare the data at each second position in the second data set with the data at each second position in the third data group.
  • the information of the target group may further include the number of data of the at least one data, the maximum value of the at least one data, the minimum value of the at least one data, and the minimum value of the at least one data.
  • One or more of the summation results of the data may be further included.
  • sorting the first data set to obtain the second data set includes: determining a first data group, and the first data group is sorting part of the data in the first data set. The final result; compare the data at each first position in the first data group with the target data at the position corresponding to each first position in the second data group to determine the target position, wherein, the target position refers to the position used to insert the target data in the first data group, the number of data included in the second data group and the first data group is the same, and the Any data included in the second data group is the target data, and the target data is the data in the first data set except the partial data; insert the target data into the target position, Obtain the second data set.
  • the method includes: dividing the second data set to obtain N data subsets, where each data subset in the N data subsets includes consecutive data in the second data set. Arrange at least two data, N is an integer greater than or equal to 2; determine the i-th subtree based on the i-th data subset among the N data subsets, and the i-th subtree is determined, and the i takes any one from 1 to N positive integer, A total of N sub-trees are obtained, wherein the i-th sub-tree is used to find the data included in the i-th data subset; the N sub-trees are merged to obtain the tree of the second data set, so The tree is used to search for data included in the second data set.
  • the method further includes: determining a target execution plan, the target execution plan being used to indicate an operation to be performed on the first data set.
  • the method further includes: receiving a first request from a processor, wherein the first request is used to request processing of the first data set; obtaining the data according to the first request.
  • the first data set further includes: receiving a first request from a processor, wherein the first request is used to request processing of the first data set; obtaining the data according to the first request. The first data set.
  • the method further includes: the acceleration device and the processor are both arranged in a computing device, and the acceleration device is connected to the processor through PCIe.
  • embodiments of the present application provide a data processing method, which can be executed by an acceleration device.
  • the method includes: acquiring a first data set, where the first data set includes a plurality of data; determining a first array , the first array is the result of sorting some of the data in the first data set; compare the data at each first position in the first data group with each of the data in the second data group. Compare the target data at the position corresponding to the first position to determine the target position, where the target position refers to the position used to insert the target data in the first data group, and the second data group and The first data group includes the same number of data, and any data included in the second data group is the target data, and the target data is the first data set except the partial data. external data; insert the target data into the target position to obtain the second data set.
  • the method includes: determining a third data group, wherein the third data group includes a plurality of first keys, the first keys are keys of the target group, and the third The number of data included in the data group and the second data set is the same; the data at each second position in the second data set is compared with the data at each second position in the third data group. Compare the data at the corresponding position to determine at least one data in the second data set that matches the target key; determine the at least one data as the target group; combine the information of the target group with the target The group is written into the external memory, wherein the information of the target group includes the target key.
  • the information of the target group further includes the number of data included in the at least one data, the maximum value of the at least one data, the minimum value of the at least one data, and the at least one data value.
  • One or more of the summation results of a data is one or more of the summation results of a data.
  • the method includes: dividing the second data set to obtain N data subsets, where each data subset in the N data subsets includes consecutive data in the second data set. Arrange at least two data, N is an integer greater than or equal to 2; determine the i-th subtree based on the i-th data subset among the N data subsets, and the i-th subtree is determined, and the i takes any one from 1 to N A positive integer, a total of N sub-trees are obtained, wherein the i-th sub-tree is used to find the data included in the i-th data subset; the N sub-trees are merged to obtain the second data set A tree used to find data included in the second data set.
  • the method further includes: determining a target execution plan, the target execution plan being used to indicate an operation to be performed on the first data set.
  • the method further includes: receiving a first request from a processor, wherein the first request is used to request processing of the first data set; obtaining the data according to the first request.
  • the first data set further includes: receiving a first request from a processor, wherein the first request is used to request processing of the first data set; obtaining the data according to the first request. The first data set.
  • the method further includes: the acceleration device and the processor are both arranged in a computing device, and the acceleration device is connected to the processor through PCIe.
  • inventions of the present application provide an acceleration device.
  • the device includes: a sorting module for sorting a first data set to obtain a second data set, wherein the first data set and the third data set are Both data sets include multiple data; a tree creation module is used to divide the second data set to obtain N data subsets, and each data subset in the N data subsets includes the second data set. At least two consecutively arranged data, N is an integer greater than or equal to 2, determine the i-th subtree based on the i-th data subset among the N data subsets, and the i-th subtree is determined from 1 to N.
  • a positive integer a total of N sub-trees are obtained, wherein the i-th sub-tree is used to find the data included in the i-th data subset, and the N sub-trees are merged to obtain the second data A tree of sets used to find data included in the second data set.
  • the sorting module is specifically configured to: determine a first data group, which is a result of sorting part of the data in the first data set; The data at each first position in a data group is compared with the target data at the position corresponding to each first position in the second data group to determine the target position, wherein the target position refers to The position used to insert the target data in the first data group, the second data group includes the same number of data as the first data group, and the second data group includes any The data are all the target data, and the target data is the data in the first data set except the partial data; insert the target data into the target position to obtain the second data set.
  • the device further includes a grouping module, the grouping module is specifically configured to: determine a third data group, wherein the third data group includes a plurality of target keys, and the target key is The key of the target group, the third data group and the second data The number of data included in the set is the same; compare the data at each second position in the second data set with the data at the position corresponding to each second position in the third data group. Compare and determine at least one data in the second data set that matches the target key; determine the at least one data as the target group; write the information of the target group and the target group into an external memory, wherein , the information of the target group includes the target key.
  • the grouping module is specifically configured to: determine a third data group, wherein the third data group includes a plurality of target keys, and the target key is The key of the target group, the third data group and the second data The number of data included in the set is the same; compare the data at each second position in the second data set with the data at the position corresponding to each second position in the
  • the information of the target group further includes the number of data included in the at least one data, the maximum value of the at least one data, the minimum value of the at least one data, and the at least one data value.
  • One or more of the summation results of a data is one or more of the summation results of a data.
  • the device further includes an execution plan determination module, the execution plan determination module being configured to: determine a target execution plan, the target execution plan being used to indicate execution of the first data set. operate.
  • the device includes a data acquisition module, the data acquisition module is configured to: receive a first request from the processor, wherein the first request is used to request the first data set Perform processing; obtain the first data set according to the first request.
  • inventions of the present application provide an acceleration device.
  • the device includes: a sorting module for sorting a first data set to obtain a second data set, wherein the first data set and the third data set are Both data sets include a plurality of data; a third data group is determined, wherein the third data group includes a plurality of first keys, the first keys are keys of the target group, and the third data group is consistent with the
  • the second data set includes the same number of data; a grouping module is configured to combine the data at each second position in the second data set with the data at each second position in the third data set.
  • the information of the target group further includes the number of data included in the at least one data, the maximum value of the at least one data, the minimum value of the at least one data, and the at least one data value.
  • One or more of the summation results of a data is one or more of the summation results of a data.
  • the sorting module is specifically configured to: determine a first data group, which is a result of sorting part of the data in the first data set; The data at each first position in a data group is compared with the target data at the position corresponding to each first position in the second data group to determine the target position, wherein the target position refers to The position used to insert the target data in the first data group, the second data group includes the same number of data as the first data group, and the second data group includes any The data are all the target data, and the target data is the data in the first data set except the partial data; insert the target data into the target position to obtain the second data set.
  • the device further includes a tree creation module, the tree creation module being used to divide the second data set to obtain N data subsets, each of the N data subsets
  • the data subset includes at least two consecutively arranged data in the second data set, and N is an integer greater than or equal to 2; according to the i-th data subset in the N data subsets, the i-th subtree is determined, so Said i takes any positive integer from 1 to N and obtains N subtrees in total, wherein the i-th subtree is used to find the data included in the i-th data subset; the N subtrees are A merge operation is performed to obtain a tree of the second data set, and the tree is used to search for data included in the second data set.
  • the device further includes an execution plan determination module, the execution plan determination module being configured to: determine a target execution plan, the target execution plan being used to indicate execution of the first data set. operate.
  • the device further includes a data acquisition module, the data acquisition module is configured to: receive a first request from the processor, wherein the first request is used to request the first data perform processing on the set; obtain the first data set according to the first request.
  • both the device and the processor are provided in a computing device, and the device is connected to the processor through Peripheral Component Interconnect Express standard PCIe.
  • inventions of the present application provide an acceleration device.
  • the device includes: a data acquisition module for acquiring a first data set, where the first data set includes multiple data; and a sorting module for determining the first data set.
  • Array the first array is the result of sorting part of the data in the first data set; compare the data at each first position in the first data group with the data at each first position in the second data group. Compare the target data at the position corresponding to the first position to determine the target position, where the target position refers to the position used to insert the target data in the first data group, and the second data group
  • the number of data included in the first data group is the same, and any data included in the second data group is the target data.
  • the target data is the first data set except the partial data. data outside; insert the target data into the target position to obtain the second data set.
  • the device further includes a grouping module, configured to: determine a third data group, wherein the third data group includes a plurality of first keys, and the first keys are the target grouped keys. key, the individual data included in the third data set and the second data set The numbers are the same; compare the data at each second position in the second data set with the data at the position corresponding to each second position in the third data group to determine the third At least one data in the two data sets that matches the target key; determine the at least one data as the target group; write the information of the target group and the target group into an external memory, wherein the The information includes the target key.
  • a grouping module configured to: determine a third data group, wherein the third data group includes a plurality of first keys, and the first keys are the target grouped keys. key, the individual data included in the third data set and the second data set The numbers are the same; compare the data at each second position in the second data set with the data at the position corresponding to each second position in the third data group to determine the third At least one
  • the information of the target group further includes the number of data included in the at least one data, the maximum value of the at least one data, the minimum value of the at least one data, and the at least one data value.
  • One or more of the summation results of a data is one or more of the summation results of a data.
  • the device further includes a tree creation module, configured to: divide the second data set to obtain N data subsets, where each data subset in the N data subsets includes At least two consecutively arranged data in the second data set, N is an integer greater than or equal to 2; according to the i-th data subset in the N data subsets, the i-th subtree is determined, and the i is taken through Any positive integer from 1 to N, a total of N subtrees are obtained, wherein the i-th subtree is used to find the data included in the i-th data subset; the N subtrees are merged to obtain A tree of the second data set, the tree is used to find data included in the second data set.
  • a tree creation module configured to: divide the second data set to obtain N data subsets, where each data subset in the N data subsets includes At least two consecutively arranged data in the second data set, N is an integer greater than or equal to 2; according to the i-th data subset in the N
  • the device further includes an execution plan determination module, configured to determine a target execution plan, where the target execution plan is used to indicate an operation to be performed on the first data set.
  • the device further includes a data acquisition module, configured to: receive a first request from the processor, wherein the first request is used to request processing of the first data set; according to The first request obtains the first data set.
  • a data acquisition module configured to: receive a first request from the processor, wherein the first request is used to request processing of the first data set; according to The first request obtains the first data set.
  • both the device and the processor are provided in a computing device, and the device is connected to the processor through Peripheral Component Interconnect Express standard PCIe.
  • embodiments of the present application provide an acceleration device, including: a processor and a power supply circuit; the power supply circuit supplies power to the processor, and the processor is configured to execute any one of the first to third aspects. Data processing methods.
  • the acceleration device also includes other components, such as antennas, input and output modules, interfaces, and so on. These components can be hardware, software, or a combination of software and hardware.
  • embodiments of the present application provide a computing device, which includes the acceleration device in the seventh aspect.
  • inventions of the present application provide a computing device.
  • the computing device includes an acceleration device and a processor; the processor is configured to send a first request to the acceleration device, wherein the first request is used to request
  • the acceleration device processes the first data set; the acceleration device is used to execute the data processing method in any one of the first to third aspects to process the first data set.
  • embodiments of the present application provide a chip system, which includes: a processor and an interface.
  • the processor is used to call and run instructions from the interface, and when the processor executes the instructions, the data processing method of any one of the above-mentioned first to third aspects is implemented.
  • a computer-readable storage medium is provided.
  • the computer-readable storage medium is used to store computer programs or instructions. When executed, the computer-readable storage medium implements the data processing method of any one of the above-mentioned first to third aspects. .
  • a twelfth aspect provides a computer program product containing instructions that, when run on a computer, implements the data processing method of any one of the above-mentioned first to third aspects.
  • Figure 1 is a schematic diagram of a scenario applicable to the embodiment of the present application.
  • Figure 2 is a schematic diagram of another scenario applicable to the embodiment of the present application.
  • Figure 3 is a schematic structural diagram of a data processing system provided by an embodiment of the present application.
  • Figure 4 is a schematic structural diagram of another data processing system provided by an embodiment of the present application.
  • FIG. 5 is a schematic structural diagram of another data processing system provided by an embodiment of the present application.
  • FIG. 6 is a schematic flowchart 1 of a data processing method provided by an embodiment of the present application.
  • Figure 7 is a schematic diagram of the principle of performing a conversion operation on the first data set according to an embodiment of the present application.
  • Figure 8 is a schematic diagram of a process of sorting the first data set provided by an embodiment of the present application.
  • Figure 9 is a schematic diagram of a tree creation process provided by an embodiment of the present application.
  • Figure 10 is a schematic diagram of the principle of creating a tree provided by the embodiment of the present application.
  • Figure 11 is a schematic diagram of a process of grouping data provided by an embodiment of the present application.
  • Figure 12 is a schematic structural diagram of a page provided by an embodiment of the present application.
  • FIGS 13 to 16 are schematic flow charts of several data processing methods provided by embodiments of the present application.
  • 17 to 18 are schematic structural diagrams of two acceleration devices provided by embodiments of the present application.
  • Terminal equipment is a device with wireless transceiver functions. It can be a fixed device, a mobile device, a handheld device, a wearable device, a vehicle-mounted device, or a wireless device built into the above-mentioned devices (for example, a communication module or a chip system, etc. ).
  • the terminal device is used to connect people, objects, machines, etc., and can be widely used in various scenarios, including but not limited to the following scenarios: cellular communication, device-to-device communication (device-to-device, D2D), car-to-everything (vehicle to everything, V2X), machine-to-machine/machine-type communications (M2M/MTC), Internet of things (IoT), virtual reality (VR) , augmented reality (AR), industrial control, self-driving, remote medical, smart grid, smart furniture, smart office, smart wear, smart transportation , terminal equipment for smart cities, drones, robots and other scenarios.
  • the terminal equipment may sometimes be called user equipment (UE), terminal, access station, UE station, remote station, wireless communication equipment, or user device, etc.
  • Node which can be a single device.
  • the nodes shown in the embodiments of the present application may also be logical concepts, such as software modules, which are not specifically limited in the embodiments of the present application.
  • the number of nouns means “singular noun or plural noun", that is, “one or more”, unless otherwise specified.
  • At least one means one or more
  • plural means two or more.
  • “And/or” describes the relationship between associated objects, indicating that there can be three relationships, for example, A and/or B, which can mean: A exists alone, A and B exist simultaneously, and B exists alone, where A, B can be singular or plural.
  • the character “/” generally indicates that the related objects are in an "or” relationship.
  • A/B means: A or B.
  • At least one of the following or similar expressions thereof refers to any combination of these items, including any combination of a single item (items) or a plurality of items (items).
  • at least one of a, b, or c means: a, b, c, a and b, a and c, b and c, or a and b and c, where a, b, c Can be single or multiple.
  • FIG. 1 is a schematic diagram of a scenario applicable to the embodiment of the present application.
  • FIG. 1 can also be understood as a schematic structural diagram of a data processing system provided by an embodiment of the present application.
  • the scenario includes a terminal device 110, a client 111 running in the terminal device 110, and a computing device 120.
  • the terminal device 110 and the computing device 120 may communicate with each other through Ethernet or wireless network (such as wireless fidelity (WIFI) or 5th generation ( 5th generation, 5G) communication) technology.
  • WIFI wireless fidelity
  • 5th generation 5th generation
  • Client 111 may be a software module or program.
  • the user can initiate a data processing request to the computing device 120 through the client 111.
  • the data processing request is, for example, a data read request for requesting to read data in the database, or a data write request for requesting to write data into the database. ask.
  • the computing device 120 can perform read operations or write operations on the database.
  • the computing device 120 may perform corresponding data processing according to the data processing request.
  • the computing device 120 generally refers to a device with processing capabilities, such as a server or a terminal device.
  • FIG. 2 is a schematic diagram of a scenario applicable to the embodiment of the present application.
  • FIG. 2 can also be understood as a schematic structural diagram of a data processing system provided by an embodiment of the present application.
  • the data processing system 220 in Figure 2 includes one or more computing devices 221, and the data processing system 220 communicates with the client 211 to process the data processing request of the client 211.
  • this scenario includes a terminal device 210, a client 211 running in the terminal device 210, and a data processing system 220.
  • the terminal device 210 and the data processing system 220 can communicate with each other through Ethernet or wireless network (such as WIFI, 5th generation ( 5th generation, 5G) communication) technology.
  • the number of computing devices 221 included in the data processing system 220 is three as an example. In fact, the number of computing devices 221 included in the data processing system 220 is not limited. Wherein, the structure of any two computing devices 221 included in the data processing system 220 may be the same.
  • the data processing system 220 may be a distributed data processing system.
  • the distributed data processing system may include a centralized distributed data processing system and a decentralized distributed data processing system.
  • FIG. 3 is a schematic structural diagram of a distributed data processing system provided by an embodiment of the present application.
  • Figure 3 can be, for example, a schematic structural diagram of a centralized distributed data processing system.
  • data processing system 300 includes a master node 310 and one or more 320 slave nodes.
  • the master node 310 may also be called a control node or a management node, and the slave node 320 may also be called a working node.
  • the master node 310 can communicate with the client, and the master node 310 and any slave node 320 can also communicate with each other.
  • the master node 310 is configured to receive data processing requests from clients, and allocate the client's data processing requests to one of one or more slave nodes 320 for processing.
  • the slave node 320 is used to process data processing requests.
  • the meaning of the client may refer to the content discussed above.
  • the client is, for example, the client 211 in FIG. 2 .
  • Both the master node 310 and the slave node 320 can be implemented by computing devices.
  • a master node 310 is a computing device
  • a slave node 320 is a computing device.
  • FIG. 4 is a schematic structural diagram of another distributed data processing system provided by an embodiment of the present application.
  • FIG. 4 may be, for example, a schematic structural diagram of a decentralized distributed data processing system. What is different from Figure 3 is that the functions of any two nodes in Figure 4 are the same.
  • the data processing system 400 includes a plurality of nodes (the first node 410, the second node 420 and the third node 430 shown in Figure 4).
  • the first node 410, the second node 420 and the third node Any node in 430 can communicate with the client, and is used to receive data processing requests from the client and process the data processing requests.
  • any node among the first node 410, the second node 420 and the third node 430 can be implemented by a computing device, for example, any node is a computing device.
  • FIG. 5 is a schematic structural diagram of a computing device provided by an embodiment of the present application.
  • the computing device 500 in Figure 5 may be the computing device 120 in Figure 1, the computing device 221 in Figure 2, the master node 310 in Figure 3, the slave node 320 in Figure 3, the first node 410 in Figure 4, The second node 420 in Figure 4 or the third node 430 in Figure 4 .
  • the computing device 500 includes a processor 510 , an acceleration device 520 , a memory 530 and an external memory 540 .
  • the processor 510, the acceleration device 520, the memory 530 and the external memory 540 can communicate with each other through the bus 550.
  • the bus 550 is represented by a thick line in FIG. 5 , and the bus 550 may be a line based on the peripheral component interconnect express (PCIe) standard.
  • PCIe peripheral component interconnect express
  • the processor 510 can be a central processing unit (CPU), an application specific integrated circuit (ASIC), a field programmable gate array (FPGA), or artificial intelligence (AI). Chip, system on chip (SoC), complex programmable logic device (CPLD) or graphics processing unit (GPU).
  • CPU central processing unit
  • ASIC application specific integrated circuit
  • FPGA field programmable gate array
  • AI artificial intelligence
  • SoC system on chip
  • CPLD complex programmable logic device
  • GPU graphics processing unit
  • the acceleration device 520 is a device used specifically to process data, and may be a SOC, a DPU or a smart network card, etc.
  • Memory 530 may include volatile memory (volatile memory), such as random access memory (random access memory, RAM) or dynamic random access memory (dynamic random access memory, DRAM), etc., and may also include non-volatile memory ( non-volatile memory), such as storage class memory (SCM), etc., or a combination of volatile memory and non-volatile memory, etc.
  • volatile memory such as random access memory (random access memory, RAM) or dynamic random access memory (dynamic random access memory, DRAM), etc.
  • non-volatile memory such as storage class memory (SCM), etc., or a combination of volatile memory and non-volatile memory, etc.
  • Memory 530 may also include an operating system and other software modules required to run processes.
  • the operating system can be LINUX TM , UNIX TM or WINDOWS TM , etc.
  • the memory 530 may also store data in the database.
  • the data stored in the memory 530 may include the most recently written data in the database.
  • the processor 510 can store the data in the memory 530 into the external memory 540 for persistent storage.
  • the data read from the external memory 540 can be stored in the memory 530 first.
  • the data stored in the memory 530 can also include data read from the external memory 540 .
  • the external memory 540 can also be called auxiliary memory.
  • the external memory 540 can be a non-volatile memory (non-volatile memory), such as a read-only memory (read-only memory, ROM), a magnetic disk or a hard disk (hard disk), etc.
  • Non-volatile memory such as a read-only memory (read-only memory, ROM), a magnetic disk or a hard disk (hard disk), etc.
  • External memory 540 can be used to persistently store data.
  • the format (or storage method) of the data in the database stored in the memory 530 and the data in the database stored in the external memory 540 may be the same or different.
  • the data in the database stored in the memory 530 and the external memory 540 may be in row format or column format.
  • the row format refers to the row-based format (or storage method)
  • the column format refers to the column-based format (or storage method).
  • the data in the database stored in the memory 530 is in a row format
  • the data in the database stored in the external memory 540 is in a column format.
  • the data in the database stored in the memory 530 is in column format
  • the data in the database stored in the external memory 540 is in row format.
  • FIG. 6 is a schematic flow chart of a data processing method provided by an embodiment of the present application.
  • the data processing method shown in FIG. 6 may be executed by an acceleration device.
  • the acceleration device involved in the embodiment shown in FIG. 6 may be, for example, the acceleration device 520 in FIG. 5 .
  • the acceleration device involved in the embodiment shown in FIG. 6 may, for example, be provided on the computing device 120 of FIG. 1 , the computing device 221 of FIG. 2 , the master node 310 of FIG. 3 , the slave node 320 of FIG. 3 , and the first node 410 of FIG. 4 , the second node 420 in Figure 4, or the third node 430 in Figure 4.
  • the data processing method shown in Figure 6 includes the following steps:
  • the acceleration device sorts the first data set and obtains the second data set.
  • the acceleration device receives a first request from the processor, and the first request is used to request processing of the first data set.
  • the first request can be An example of a data processing request from the previous article.
  • the acceleration device receives the first request, thereby determining to process the first data set.
  • the first data set includes a plurality of data
  • the first data set may be part or all of the data in a database of the computing device.
  • the acceleration device can perform read operations or write operations on the database in the computing device.
  • the computing device is, for example, the computing device 120 of FIG. 1, the computing device 221 of FIG. 2, the master node 310 of FIG. 3, the slave node 320 of FIG.
  • the format of the first data set may be row format and/or column format. Among them, the meaning of row format and column format can be referred to the previous article.
  • the type of data in the first data set may be any type, for example, character type or integer type.
  • the first request includes the first data set.
  • the first request includes a first address, and the first address is an address where the first data set is stored. In this way, after obtaining the first request, the acceleration device can obtain the first data set according to the first address.
  • the first data set is all the data in the database
  • the first request includes the address of the database (that is, the first address)
  • the acceleration device obtains the first data set according to the first address.
  • Table 1 is an example of a first data set provided by the embodiment of this application.
  • the format of the first data set as shown in Table 1 above is a row format.
  • the type of data in the first data set may be arbitrary.
  • the type of data included in the first data set may be one or more types of integer, character, time or date.
  • the acceleration device can process data of multiple data types.
  • the acceleration device can support processing of one or more types of data such as integer, character, time or date.
  • the acceleration device can support writing operations and/or reading operations on multiple types of databases.
  • the acceleration device supports writing operations and/or reading operations on PostgreSQL or MySQL. PostgreSQL and MySQL are two databases.
  • Table 2 is an example of the data types supported by the acceleration device provided by the embodiment of the present application, and the types of databases corresponding to the supported data types.
  • the format of the first data set may not meet the processing requirements of the acceleration device, and/or the type of the first data set does not meet the requirements of the acceleration device. Therefore, after the acceleration device obtains the first data set, it may process the first data. Perform the conversion operation on the set to obtain the converted first data set.
  • the conversion operation includes a format conversion operation and/or a type conversion operation. Among them, the format conversion operation refers to converting data in one format into data in another format, and the type conversion operation refers to converting one type of data into another type of data.
  • the following describes the situation in which the acceleration device performs a conversion operation on the first data set.
  • Case 1 The acceleration device determines the information of the first data set, and performs a conversion operation on the first data set obtained from the database based on the information of the first data set.
  • the information of the first data set includes information on the format and/or type of the first data set.
  • Situation 1 is applicable to the situation where the acceleration device has not processed the data in the database before. For example, situation one is applicable to the situation where the acceleration device obtains the first data set from the database through a copy command.
  • FIG. 7 is a schematic diagram of a principle of performing a conversion operation on a first data set according to an embodiment of the present application.
  • the acceleration device parses the data definition language (DDL) of the database and obtains the information of the first data set.
  • DDL data definition language
  • the acceleration device performs a conversion operation on the first data set according to the information of the first data set, thereby obtaining the converted first data set.
  • the content of the conversion operation can refer to the content discussed above.
  • Case 2 The acceleration device directly performs the conversion operation on the first data set. Case 2 applies to the case where the acceleration device has previously processed the data in the database. For example, case 2 is applicable to the case where the acceleration device obtains the first data set from the database through an insert (inset) command.
  • the accelerating device has previously processed the data in the database (for ease of distinction, the data that has been processed by the accelerating device is called historical data), and the accelerating device needs to process the first data set in the database.
  • the acceleration device is equivalent to having obtained the information of the historical data, which is equivalent to obtaining the information of the first data set. Therefore, the acceleration device can directly execute S7.3, that is, the acceleration device directly performs conversion on the first data set. operate. In this way, there is no need for the acceleration device to obtain the information of the first data set, which is beneficial to reducing the processing capacity of the acceleration device.
  • the acceleration device may not need to perform a conversion operation on the first data set.
  • the acceleration device may perform a sorting operation on the converted first data set to obtain the second data set.
  • the acceleration device can perform a sorting operation on the first data set to obtain the second data set.
  • the way in which the acceleration device performs the sorting operation on the converted first data set or the first data set is the same. The following takes the acceleration device performing the sorting operation on the first data set as an example.
  • the accelerating device compares the sorted multiple data in the first data set with the data to be sorted in the first data set, and inserts the unsorted data into the sorted data until the accelerating device When all the data in the data set are sorted, the second data set is obtained.
  • the acceleration device may synchronize and compare the plurality of sorted data with the data to be sorted in the first data set.
  • the acceleration device sorts part of the data in the first data set to obtain the first data group.
  • the partial data in the first data set is a plurality of data in the first data set, and the partial data may be, for example, two data included in the first data set.
  • the first data group can be viewed as a sorted plurality of data.
  • the data group in the embodiment of the present application can be understood as the arrangement result of multiple data in a certain order, and a data group can also be regarded as a vector.
  • the acceleration device determines a second data group, and each element in the second data group is target data.
  • the target data is the data in the first data set except the partial data. Among them, the target data is regarded as the data to be sorted in the first data set.
  • the acceleration device compares the data at each position in the first data group (called the first position for ease of distinction) with the data corresponding to each first position in the second data group, which is equivalent to A vectorized comparison is performed on the first data group and the second data group to determine the position where the target data is inserted in the first data group, that is, the target position.
  • the acceleration device inserts the target data into the target location, thereby obtaining the second data set.
  • the acceleration device compares the data at each position in the first data group (referred to as the first position for ease of distinction) with the data corresponding to each first position in the second data group, It can be specifically understood that the acceleration device compares the data at the first position in the first data group with the data at the first position in the second data group, and compares the data at the second position in the first data group. The data is compared to the data at the second position in the second data group, and so on.
  • the acceleration device can determine multiple second data groups based on the multiple target data, wherein each second data group The elements included in the data group are each one of multiple target data.
  • the accelerating device may determine the target position corresponding to the target data in each of the plurality of second data groups.
  • the method for determining a target position by the accelerating device may refer to the foregoing content and will not be listed here.
  • the acceleration device inserts multiple target data into corresponding target positions in the first data set, thereby obtaining the second data set.
  • the acceleration device may determine a second data group and the first data group based on one target data among the plurality of target data.
  • the acceleration device compares the data at each first position in the first data group with the data at each first position in the second data group to determine the target position corresponding to the one target data.
  • the updated first data group is obtained.
  • the acceleration device may determine the third target data corresponding to another target data among the plurality of target data.
  • the second data group determines the target position corresponding to the other target data.
  • the acceleration device inserts another target data into the updated first data group, and so on, until the acceleration device processes the multiple target data and obtains the final updated first data group.
  • the group is the second data set.
  • the acceleration device can compare the first data group and the second data group according to the first rule.
  • the first rule is, for example, sorting according to the rule of data from large to small, or sorting according to the rule of data from large to small.
  • the first rule may be preconfigured in the acceleration device, or the acceleration device determines it by itself.
  • the first request indicates the first rule, and after the acceleration device receives the first request, the first rule is obtained.
  • the first request includes a comparison function, and the acceleration device may determine the first rule according to the comparison function.
  • the comparison function is used to represent the function used to sort the data.
  • the acceleration device includes a first register and a second register.
  • Registers can be used to store groups of data. Since registers are used to store groups of data, registers may also be called vector (or array) registers.
  • the acceleration device may write the first data set into the first register and the second data set into the second register.
  • the second register compares the data at each first position in the first data group with the data at each first position in the second data group.
  • FIG. 8 is a schematic diagram of a second data group and a first data group provided by an embodiment of the present application.
  • the first data set includes: 1, 4, 5, 4, 7, 9, 3 and 10 as an example.
  • the first data group determined by the acceleration device is specifically: 1, 4, 5, 7, 9 and 10;
  • the second data group determined by the acceleration device is specifically: 3, 3, 3, 3, 3 and 3. , that is, the target data is 3.
  • the acceleration device may compare the data at each first position in the first data group with the data at each first position in the second data group, and the comparison is represented by a dotted line in FIG. 8 .
  • the acceleration device compares the data at the first position in the first data group (i.e. 1) with the data at the first position (i.e. 3) in the second data group, and compares the data at the first position in the first data group (i.e. 3).
  • the data at the second position i.e. 4 is compared with the data at the second position (i.e. 3) in the second data group, and the data at the third position (i.e. 5) in the first data group is compared Compare the data at the third position in the second data set (i.e.
  • the acceleration device comparing the data to be sorted in the first data set with the multiple data that have been sorted, and determining the target position, which is the second position in the first data group.
  • the acceleration device can insert the target data into the second position in the first data set to obtain the second data set, that is, the second data set is specifically: 1, 3, 4, 5, 7, 9, and 10.
  • the acceleration device divides the second data set and obtains N data subsets.
  • N is an integer greater than or equal to 2.
  • each data subset in the N data subsets includes multiple consecutively arranged data in the second data set.
  • Division can be understood as grouping, or can be understood as dividing the second data set into multiple data subsets in sequence. Among them, any two data subsets in the N data subsets do not overlap. In other words, any two subsets in the N data subsets do not include the same data. Optionally, any two data subsets in the N data subsets include the same number of data.
  • the second data set is specifically: 1, 3, 4, 5, 7, 9, 10, 13, 14, 20, 24, 25, 27, 29, 30, 33, 34 and 37.
  • the acceleration device may divide the second data set into two data subsets, one of which is specifically: 1, 3, 4, 5, 7, 9, 10, 13 and 14, and the other is specifically as follows: 20, 24, 25, 27, 29, 30, 33, 34 and 37.
  • the acceleration device may divide the second data set according to a preset number to obtain N data subsets.
  • the default number is the number of data included in each data subset.
  • the preset number may be pre-stored in the acceleration device, or may be determined by the acceleration device based on the total number of data included in the second data set.
  • the acceleration device obtains N subtrees based on N data subsets.
  • the acceleration device can process N data subsets in parallel to obtain N subtrees.
  • the subtree can be called a subtree index, which can be understood as the data index structure of the data subset.
  • Each subtree corresponds to a data subset, and the subtree corresponding to a data subset is used to search for data in the data subset.
  • the acceleration device determines each subtree in the N subtrees in the same way.
  • the following is an example of how the acceleration device determines one subtree in the N subtrees.
  • the acceleration device may be preconfigured with the tree levels, or the user may set the tree levels in the acceleration device.
  • the acceleration device determines the level of the tree, which is equivalent to obtaining the level of the subtree.
  • the level of the subtree is, for example, the level of the tree minus one.
  • the acceleration device can determine a subtree based on a data subset and the level of the subtree.
  • the acceleration device treats each data included in the data subset as a leaf node, and can obtain multiple leaf nodes.
  • the acceleration device determines the values of upper-level nodes of multiple leaf nodes, and by analogy, obtains a subtree that satisfies the level of the subtree.
  • the acceleration device can determine the values of the upper-level nodes of the multiple leaf nodes according to a second rule.
  • the second rule is, for example: the value of the leaf node along the first direction (such as the left side) of the upper-level node is less than the value of the upper-level node.
  • the value of the leaf node along the second direction of the upper node (such as the right) is greater than the value of the upper node.
  • FIG. 9 is a schematic diagram of a tree creation process provided by an embodiment of the present application.
  • the first data subset corresponding to the second data set includes 1, 2, 3, 8, 9 and 10
  • the second data subset includes 13, 15, 16, 19, 23 and 26, and the second data subset includes
  • the tree level is level 2 as an example for introduction.
  • the acceleration device treats each data in the first data subset as a leaf node, and determines that the value of the upper node of the leaf node corresponding to the first data subset is 6, thereby obtaining subtree 1.
  • the acceleration device treats each node in the second data subset as a leaf node, and determines that the value of the upper node of the leaf node corresponding to the first data subset is 17, thereby obtaining subtree 2.
  • the acceleration device performs a merging operation on the N sub-trees to obtain the tree of the second data set.
  • the tree can also be called a tree index, which can be understood as the index structure of the second data set.
  • the tree is used to find data in the second data set.
  • the acceleration device may merge the N sub-trees corresponding to the N data subsets in the first order of the N data subsets, thereby obtaining the tree of the second data set.
  • any subtree among N subtrees can be understood as a part of the tree (can also be a tree index).
  • the merging operation can be understood as connecting the N sub-trees in sequence according to the first order, and determining the values of the root nodes of the N sub-trees, thereby obtaining a tree.
  • the tree includes the root node and N sub-trees.
  • the acceleration device can also determine the value of the root node according to the second rule. For the content of the second rule, please refer to the previous article.
  • the acceleration device can merge subtree 1 and subtree 2, and determine the value of the root node of the two subtrees to be 11, thereby obtaining the tree as shown in Figure 9.
  • the acceleration device may include multiple index modules and calculation modules.
  • Each index module and calculation module can be implemented by hardware or software.
  • Each index module may include a control sub-module and an operator sub-module, and the calculation module may also include a control sub-module and an operator sub-module.
  • Each of the plurality of index modules can be used to create one of N subtrees.
  • the calculation module can merge the N sub-trees output by multiple index modules to obtain a tree.
  • the acceleration device can create multiple subtrees in parallel through multiple index modules, thereby improving the efficiency of the acceleration device in creating trees.
  • the acceleration device performing the above-mentioned S602-S604 process on the second data set can be regarded as the acceleration device performing a tree creation operation on the second data set.
  • the acceleration device includes multiple index modules.
  • Each index module in the multiple index modules can obtain a subtree based on a data subset in N data subsets.
  • These multiple index modules can output corresponding N subtrees (including subtree 1, subtree 2 and subtree N in Figure 10).
  • the calculation module performs a merge operation on these N sub-trees to obtain the tree of the second data set.
  • the acceleration device when the acceleration device determines the tree of the second data set, the acceleration device or processor does not need to generate instructions and decode instructions, etc., which is conducive to simplifying the data processing process and improving the efficiency of the acceleration device in processing data. .
  • the acceleration device can create multiple subtrees in parallel, which is also beneficial to improving the efficiency of creating the tree of the second data set, thereby improving the efficiency of data processing.
  • embodiments of the present application also provide a method for sorting the first data set. During the process of sorting the first data set, the acceleration device can parallelly process multiple data in the first data set and the second data. Comparing multiple target data in the group is helpful to quickly determine the position of the target data in the first data group, improves the efficiency of sorting the first data set, and also improves the efficiency of data processing.
  • the acceleration device can also perform a grouping operation on the second data set.
  • the following describes how the acceleration device performs grouping operations.
  • the acceleration device may compare multiple data in the second data set with the grouping key of the target group, and determine at least one data that matches the target key.
  • the acceleration device determines the at least one data as a target packet.
  • the grouping key may be determined by the acceleration device, or the acceleration device may determine it based on the first request. For example, the first request includes the grouping key, and receiving the first request by the acceleration device is equivalent to obtaining the grouping key.
  • the acceleration device obtains the third data group according to the target key of the target group.
  • the third data set includes the same number of data as the second data set, and each element in the third data set is a target key.
  • the acceleration device may compare the data at each position in the second data set (referred to as the second position for ease of distinction) with the data at the position corresponding to each second position in the third data group, Thus, at least one data matching the target key is determined, and the at least one data is divided into target groups.
  • the data included in the target packet is the at least one data.
  • the data matching the target key may be data whose index is the same as the target key, may be data whose index is less than or equal to the target key, may be the data is the same as the target key, or the data may be less than or equal to the target key.
  • the acceleration device may include a third register and a fourth register.
  • the acceleration device may write the second data set into the third register, the third data set into the fourth register, and pass the third register and the fourth register. , compare the second data set and the third data set.
  • the implementation method of the register can refer to the content discussed above.
  • FIG. 11 is a schematic diagram of a process of grouping data according to an embodiment of the present application.
  • the second data set includes 1, 1, 1, 2, 2, 2 and 2, and the target key is 1.
  • the accelerating device determines that the third data group is specifically: 1, 1, 1, 1, 1, 1 and 1.
  • the acceleration device may compare the data at each second position in the first data set with the data at each second position in the third data group, thereby determining at least one data that matches the target key.
  • the acceleration device compares the data at the first position (i.e. 1) with the data at the first position (i.e. 1) in the third data set, and compares the data at the second position in the first data set.
  • the data (i.e. 1) is compared with the data at the second position (i.e. 1) in the third data set
  • the data at the third position (i.e. 1) in the first data set is compared with the data at the third position (i.e. 1) in the third data set.
  • the data at the third position (i.e. 1) is compared to the data at the fourth position (i.e. 2) in the first data set with the data at the fourth position (i.e.
  • Target grouped information includes target keys.
  • the information of the target group also includes the number (count) of data (i.e., at least one data) included in the target group, the maximum value (max) among the data (i.e., at least one data) included in the target group, the number (max) of the data included in the target group, one or more of the minimum value (min) among the data (ie, at least one data), or the summation result (sum) of the data (ie, at least one data) included in the target group.
  • the acceleration device may determine multiple target groups according to multiple target keys, wherein the manner in which the acceleration device determines each target group may refer to the content discussed above.
  • the acceleration device may store the information of the multiple target groups in the form of pages.
  • the information of a target group and a target group can be correspondingly stored in one page or multiple pages.
  • the one page in addition to storing the information of the target group and the target group, also includes the information of the one page.
  • the information of the one page includes the identification of the one page.
  • the information of the one page also includes the page header (page head) of the one page, the identification of the table to which the target group belongs, the number of pages used to store the target group corresponding to the one page, the One or more of the index of a page, the total number of target groups, the number of target groups included in the one page, and the number of grouping keys included in the one page.
  • FIG. 12 is a schematic structural diagram of a page provided by an embodiment of the present application.
  • the page includes the information of the page and the information of the target group contained in the page.
  • the page information includes the page identifier, the page index, and the next page index.
  • the information of the target group includes the identification of the group (such as group 1 or group 2), index 1 to index n, the number of data included in the group, the maximum value, the minimum value in the group, and the summation result, etc.
  • the acceleration device can update the data.
  • the acceleration device can perform update, insertion or deletion operations on the second data set.
  • the acceleration device can update the second data set and also update the information of the target group corresponding to the second data set.
  • the acceleration device may update the information of the group corresponding to the group key according to the group key corresponding to the updated data, and update the information of the page where the group is located.
  • FIG. 13 is a schematic flow chart of a data processing method provided by an embodiment of the present application.
  • the data processing method involved in the embodiment shown in FIG. 13 is applied to the application scenario shown in FIG. 1 , for example.
  • the computing devices involved in the embodiment shown in FIG. 13 are, for example, the computing device 120 of FIG. 1 , the computing device 221 of FIG. 2 , the master node 310 of FIG. 3 , the slave node 320 of FIG. 3 , the first node 410 of FIG. 4 , and FIG.
  • the structural schematic diagram of the computing device involved in the embodiment shown in FIG. 13 is, for example, the structural schematic diagram of the computing device shown in FIG. 5.
  • the embodiment shown in FIG. 13 The processor involved is, for example, the processor 510 shown in FIG. 5
  • the acceleration device involved in the embodiment shown in FIG. 13 is, for example, the acceleration device 520 shown in FIG. 5 .
  • the data processing method shown in Figure 13 includes the following: The following processing steps:
  • the processor sends a first request to the acceleration device.
  • the acceleration device receives the first request from the processor.
  • the meaning of the first request can be referred to the above.
  • the first request includes the first address, and the address is specifically indicated to be an address in the external storage.
  • the first request also includes a structured query language (SQL) statement.
  • SQL structured query language
  • the acceleration device obtains the first data set from the external memory.
  • the acceleration device can obtain the first data set according to the first address.
  • For the content of the first data set please refer to the previous article.
  • S1301-S1302 is a way for the acceleration device to obtain the first data set. If the acceleration device uses other methods to obtain the first data set, the acceleration device does not need to perform steps S1301-S1302, that is, S1301-S1302 are optional steps.
  • the acceleration device determines the target execution plan.
  • the acceleration device may determine a target execution plan for processing the first data set.
  • the target execution plan includes operations that the acceleration device needs to perform on the first data set, such as one or more of a tree creation operation, a transformation operation, a sorting operation, or a grouping operation.
  • the acceleration device may determine a target optimizer matching the first data set from multiple optimizers, and receive a target execution plan from the target optimizer.
  • the optimizer can also be called the query optimizer, which is used to determine the execution plan.
  • the target optimizer may determine the target execution plan corresponding to the first data set according to the structured query language (SQL) statement in the first request.
  • SQL structured query language
  • the target execution plan includes a sorting operation and a tree creation operation on the first data set as an example for introduction.
  • the acceleration device sorts the first data set and obtains the second data set.
  • the content of sorting the first data set by the acceleration device may refer to the content discussed above, and will not be described again here.
  • the acceleration device divides the second data set and obtains N data subsets.
  • the manner in which the acceleration device divides the second data set and the content of the data subsets can refer to the content discussed above, and will not be described again here.
  • the acceleration device determines N subtrees based on N data subsets.
  • the method for determining the N subtrees by the acceleration device may refer to the content discussed above, and will not be described again here.
  • the acceleration device performs a merging operation on the N sub-trees to obtain the tree of the second data set.
  • the specific content of the merging operation of the N subtrees by the acceleration device can be referred to the content discussed above, and will not be described again here.
  • the acceleration device groups the second data set to obtain the target grouping.
  • target grouping and grouping can refer to the content discussed above, and will not be repeated here.
  • the acceleration device writes the target group information and the target group into the external memory.
  • the external memory is, for example, the external memory 540 shown in FIG. 5 .
  • the content of the target group information may refer to the content discussed above.
  • Figure 14 is a schematic flow chart of a data processing method provided by an embodiment of the present application.
  • the data processing method involved in the embodiment shown in FIG. 14 is, for example, applied to any of the application scenarios shown in FIGS. 2 to 5 .
  • the first node and the second node involved in the embodiment shown in Figure 14 are, for example, the two computing devices 221 in Figure 2 , or the first node involved in the embodiment shown in Figure 14 is, for example, the master node in Figure 3 310, the second node is, for example, the slave node 320 in Figure 3, or the first node involved in the embodiment shown in Figure 14 is, for example, the first node 410 in Figure 4, and the second node is, for example, the first node in Figure 4.
  • the second node 420 or the third node 430 includes a first processor and a first acceleration device
  • the second node includes a second processor, a second acceleration device, and an external memory.
  • the first accelerating device or the second accelerating device related to the embodiment shown in FIG. 14 is, for example, the accelerating device 520 shown in FIG. 5 .
  • the data processing method shown in Figure 14 includes the following processing steps:
  • the first processor receives the second request.
  • the second request is used to request processing of the first data set.
  • the first processor may receive the second request from the client, such as the client 111 in FIG. 1 or the client 211 in FIG. 2 .
  • the first processor sends a second request to the first acceleration device.
  • the first acceleration device receives the second request from the first processor.
  • the first acceleration device determines the target execution plan.
  • the content of the target execution plan determined by the first acceleration device may refer to the content discussed above.
  • the first acceleration device sends the target execution plan to the second processor.
  • the second processor receives the target execution plan from the first acceleration device.
  • the second processor sends the first request to the second acceleration device.
  • the second acceleration device receives the first request from the second processor.
  • the first request includes a target execution plan.
  • S1401-S1405 is a way for the second acceleration device to obtain the first data set.
  • the second acceleration device uses other methods to determine the first data set, there is no need to perform S1401-S1405, that is, S1401-S1405 are optional steps.
  • the second acceleration device obtains the first data set.
  • the second acceleration device obtains the first data set according to the first request.
  • the second acceleration device sorts the first data set to obtain the second data set.
  • the content of sorting the first data set can refer to the content discussed above, and will not be described again here.
  • the second acceleration device performs a conversion operation on the first data set to obtain the converted first data set.
  • the content of the conversion operation can be referred to the previous article and will not be repeated here.
  • the second acceleration device divides the second data set and obtains N data subsets.
  • the method for obtaining N data subsets by the second acceleration device may refer to the content discussed above, and will not be described again here.
  • the second acceleration device determines N subtrees based on N data subsets.
  • the content of the N subtrees determined by the second acceleration device may refer to the content discussed above.
  • the second acceleration device performs a merging operation on the N sub-trees to obtain the tree of the second data set.
  • the meaning of the tree and the content of the merging operation of the N sub-trees by the second acceleration device can be referred to the above.
  • the second acceleration device writes the tree of the second data set and the second data set into the external memory.
  • the second acceleration device groups the second data set to obtain target groupings and target grouping information.
  • the target group and the information of the target group can refer to the content discussed above.
  • the second acceleration device writes the target group and the information of the target group into the external memory.
  • S1411-S1413 are optional steps, illustrated by dotted lines in Figure 14 .
  • the target execution plan can be determined by the first acceleration device without the need for the first processor to determine the target execution plan, which is beneficial to reducing the processing load of the first processor.
  • the second acceleration device can perform one or more of a sorting operation, a transformation operation, a grouping operation and a tree creation operation on the first data set, and the first processor does not need to decode and issue instructions during the execution process. It is helpful to simplify the process of processing data and improve the efficiency of data processing.
  • the embodiment of the present application also provides a data processing method.
  • Figure 15 is a schematic flow chart of this method.
  • the method shown in FIG. 15 may be executed by an acceleration device, which may be, for example, the acceleration device 520 in FIG. 5 .
  • the acceleration device involved in the embodiment shown in FIG. 15 may, for example, be provided on the computing device 120 of FIG. 1 , the computing device 221 of FIG. 2 , the master node 310 of FIG. 3 , the slave node 320 of FIG. 3 , and the first node 410 of FIG. 4 , the second node 420 in Figure 4, or the third node 430 in Figure 4.
  • the data processing method shown in Figure 15 includes the following processing steps:
  • the acceleration device sorts the first data set and obtains the second data set.
  • the manner in which the acceleration device determines the second data set may refer to the content discussed above.
  • the acceleration device determines the third data group.
  • the content of the third data group, and the acceleration device's determination of the content of the third data group may refer to the content discussed above.
  • the acceleration device compares the data at each second position in the second data set with the data at the position corresponding to each second position in the third data group, and determines that the second data set matches the target key. at least one data.
  • the manner in which the acceleration device determines at least one data matching the target key may refer to the content discussed above.
  • S1504. Determine at least one piece of data as a target group, and write the target group information and the target group into the external memory.
  • the content of the target group information may refer to the content discussed above.
  • the acceleration device can compare multiple data in the third data group and multiple data in the second data set in parallel, which improves the efficiency of the acceleration device in grouping the second data set. Moreover, there is no need for an acceleration device or processor to decode or issue instructions, which also helps improve the efficiency of the acceleration device in performing grouping operations.
  • the acceleration device may perform a tree creation operation and/or a conversion operation on the first data set.
  • the content of performing the tree creation operation and the conversion operation may refer to the content discussed above and will not be described again here.
  • the embodiment of the present application also provides a data processing method.
  • Figure 16 is a schematic flow chart of this method.
  • the method shown in FIG. 16 may be executed by an acceleration device, which may be, for example, the acceleration device 520 in FIG. 5 .
  • the acceleration device involved in the embodiment shown in FIG. 16 may, for example, be provided on the computing device 120 of FIG. 1 , the computing device 221 of FIG. 2 , the master node 310 of FIG. 3 , the slave node 320 of FIG. 3 , and the first node 410 of FIG. 4 , the second node 420 in Figure 4, or the third node 430 in Figure 4.
  • the data processing method shown in Figure 16 includes the following processing steps:
  • the acceleration device obtains the first data set.
  • the content of the first data set obtained by the acceleration device may refer to the content discussed above.
  • the acceleration device determines the first data group.
  • the content of the first data group and the method of determining the first data group may refer to the content discussed above.
  • the acceleration device may perform a conversion operation on the first data set.
  • the content of performing the conversion operation can refer to the content discussed above.
  • the acceleration device compares the data at each first position in the first data group with the target data at the position corresponding to each first position in the second data group to determine the target position.
  • the method of determining the target position by the acceleration device may also refer to the content discussed above.
  • the acceleration device inserts the target data into the target position to obtain the second data set.
  • the content of the second data set obtained by the acceleration device may also refer to the content discussed above.
  • the acceleration device may perform a tree creation operation and/or a grouping operation on the first data set.
  • the content of performing the tree creation operation and the grouping operation may refer to the content discussed above and will not be described again here.
  • FIG. 17 is a schematic structural diagram of an acceleration device according to an embodiment of the present application.
  • the acceleration device 1700 includes a data acquisition module 1701, a grouping module 1703, a sorting module 1704 and a tree creation module 1706.
  • the acceleration device 1700 also includes a conversion module 1702, an execution plan determination module 1705, a driving module 1708 and an interface module 1709. Among them, any two modules in the acceleration device 1700 can be connected by a communication bus 1707 .
  • the multiple modules shown in Figure 17 can be implemented by software or hardware, which is not limited in this embodiment of the present application.
  • the acceleration device 1700 can be used to implement any of the above data processing methods, such as any of the data processing methods in Figure 6, Figure 13 to Figure 16.
  • the acceleration device 1700 can be used to implement the data processing methods shown in Figure 6, Figure 13 and Figure 14.
  • the acceleration device 1700 can be used to implement the data processing method shown in Figure 6 above. Specifically, the sorting module 1704 is used to perform S601, and the tree creation module 1706 is used to perform the steps of S602-S604.
  • the acceleration device 1700 can be used to implement any of the data processing methods in Figure 13 above.
  • the sorting module 1704 is used to perform the steps of S1304, and the tree creation module 1706 is used to perform the steps of S1304-S1307.
  • the data acquisition module 1701 is used to perform the steps of S1301-S1302
  • the execution plan determination module 1705 is used to perform the step of S1303
  • the grouping module 1703 is used to perform the step of S1308.
  • the acceleration device 1700 can be used to implement any of the data processing methods in Figure 14 above. Specifically, the data acquisition module 1701 is used to perform the step of S1406, the sorting module 1704 is used to perform the step of S1407, and the tree creation module 1706 is used to perform the steps of S1408 to S1410.
  • the acceleration device 1700 can be used to implement any of the previous data processing methods in Figure 15. Specifically, the sorting module 1704 is used to perform the steps of S1501, and the grouping module 1703 is used to perform the steps of S1502-S1504.
  • the acceleration device 1700 can be used to implement any of the previous data processing methods in Figure 16.
  • the data acquisition module 1701 is used to perform the steps of S1601
  • the sorting module 1704 is used to perform the steps of S1602-S1604.
  • the acceleration device 1700 may include multiple conversion modules 1702. Each conversion module 1702 is used to convert data in one format into data in another format, and/or is used to convert one format into another format. Convert data of one data type to data of another data type.
  • the acceleration device 1700 may determine the conversion module 1702 for processing the first data set from the plurality of conversion modules 1702 according to the information of the first data set. In this embodiment, the acceleration device 1700 can use multiple conversion modules 1702 to process multiple data in parallel, which is beneficial to improving the efficiency of the acceleration device 1700 in format conversion.
  • the acceleration device 1700 may include multiple tree creation modules 1706, and each tree creation module 1706 may, for example, be used to implement the function of the index module discussed above.
  • the content of the index module can refer to the content of Figure 10 above.
  • the tree creation module 1706 may include a control sub-module and an operation sub-module.
  • Each tree creation module 1706 of the plurality of tree creation modules 1706 may be used to create a subtree.
  • the acceleration device 1700 can create multiple subtrees in parallel through multiple tree creation modules 1706, thereby improving the efficiency of the acceleration device 1700 in creating trees, and thus improving the efficiency of data processing.
  • the acceleration device 1700 can call the hardware resources of the acceleration device 1700 through the driver module 1708, and the interface module 1709 can be used to communicate with external devices (such as a processor).
  • external devices such as a processor
  • FIG. 18 is a schematic structural diagram of an acceleration device provided by an embodiment of the present application.
  • the acceleration device 1800 includes a processor 1801 and a power supply circuit 1802.
  • the power supply circuit 1802 is used to power the processor 1801.
  • processor 1801 can implement Any of the above data processing methods can be implemented, for example, any one of the above data processing methods in Figure 6, Figure 13 to Figure 16 can be implemented.
  • the acceleration device 1800 can be used to implement the functions of the acceleration device 1700 in Figure 17 .
  • the acceleration device 1800 also includes registers, and the registers include, for example, the first register, the second register, the third register, and the fourth register involved in the embodiment shown in FIG. 6 .
  • An embodiment of the present application provides a computing device, which includes an acceleration device and a processor.
  • the processor may be configured to send a first request to the acceleration device.
  • the meaning of the first request may refer to the above.
  • the acceleration device obtains the first data set according to the first request, and performs any of the data processing methods discussed above on the first data set, such as implementing any of the data processing methods in FIG. 6, FIG. 13 to FIG. 16.
  • the specific implementation forms of the processor and acceleration device may refer to the content discussed above.
  • the structure of the acceleration device may be, for example, the acceleration device 1700 shown in FIG. 17 or the acceleration device 1800 shown in FIG. 18 .
  • Embodiments of the present application provide a chip system, which includes: a processor and an interface.
  • the processor is used to call and run instructions from the interface.
  • the processor executes the instructions, it implements any of the previous data processing methods, for example, any of the previous data processing methods in Figure 6, Figure 13 to Figure 16.
  • Embodiments of the present application provide a computer-readable storage medium.
  • the computer-readable storage medium is used to store computer programs or instructions. When run, the computer-readable storage medium implements any of the above data processing methods, for example, the above-mentioned Figures 6, 13 to Any data processing method in Figure 16.
  • Embodiments of the present application provide a computer program product containing instructions that, when run on a computer, implement any of the foregoing data processing methods, for example, any of the foregoing data processing methods in Figure 6, Figure 13 to Figure 16.
  • the method steps in the embodiments of the present application can be implemented by hardware or by a processor executing software instructions.
  • Software instructions can be composed of corresponding software modules, and the software modules can be stored in random access memory, flash memory, read-only memory, programmable read-only memory, erasable programmable read-only memory, electrically erasable programmable read-only memory In memory, register, hard disk, mobile hard disk, CD-ROM or any other form of storage medium well known in the art.
  • An exemplary storage medium is coupled to the processor such that the processor can read information from the storage medium and write information to the storage medium.
  • the storage medium can also be an integral part of the processor.
  • the processor and storage media may be located in an ASIC. Additionally, the ASIC can be located in the base station or terminal. Of course, the processor and the storage medium may also exist as discrete components in the base station or terminal.
  • the computer program product includes one or more computer programs or instructions.
  • the computer may be a general purpose computer, a special purpose computer, a computer network, a network device, a user equipment, or other programmable device.
  • the computer program or instructions may be stored in a computer-readable storage medium or transmitted from one computer-readable storage medium to another.
  • the computer program or instructions may be transmitted from a website, computer, A server or data center transmits via wired or wireless means to another website site, computer, server, or data center.
  • the computer-readable storage medium may be any available medium that can be accessed by a computer or a data storage device such as a server or data center that integrates one or more available media.
  • the available media may be magnetic media, such as floppy disks, hard disks, and tapes; optical media, such as digital video optical disks; or semiconductor media, such as solid-state hard drives.
  • the computer-readable storage medium may be volatile or nonvolatile storage media, or may include both volatile and nonvolatile types of storage media.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请提供一种数据处理方法及装置，涉及计算机技术领域。在所述方法中，加速装置对第一数据集进行排序，获得第二数据集，其中，所述第一数据集和所述第二数据集均包括多个数据，划分所述第二数据集，获得多个数据子集，并对多个数据子集分别进行处理，获得多个子树，其中一个数据子集对应一个子树，并根据这多个子树获得第二数据集的树，由于加速装置创建树的过程中，无需处理器或加速装置生成指令以及译码指令等，简化了创建树的流程，提高了创建树的效率，也就提高了数据处理的效率，并且，加速装置可以并行获得多个子树，能够提高创建树的效率，也就能提高加速装置处理数据的效率。

Description

一种数据处理方法及装置
相关申请的交叉引用
本申请要求在2022年09月08日提交中国专利局、申请号为202211097889.0、申请名称为“一种数据处理方法及装置”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。
技术领域
本申请涉及计算机技术领域，尤其涉及一种数据处理方法及装置。
背景技术
数据能够为企业提供确定决策的依据。企业的计算设备采集的数据一般是零散的，通常需要计算设备对数据进行处理，获得数据处理结果，如此，企业的工作人员可以根据数据处理结果，确定相应的决策。
目前，数据处理一般是由计算设备中的中央处理器(central processing unit，CPU)执行的。CPU在对每个数据进行处理过程中，需要单独译码获得数据对应的指令，进而执行指令，CPU处理单个数据的过程较为繁琐，CPU处理单个数据的效率较低。另外，一旦需要处理的数据较多，这会进一步导致CPU处理数据的效率较低。
发明内容
本申请提供一种数据处理方法及装置，用于提高数据处理效率。
第一方面，本申请实施例提供一种数据处理方法，所述方法可以由加速装置执行，加速装置例如为片上系统(systemon chip，SoC)或数据处理单元(data processing unit，DPU)等，所述方法包括：对第一数据集进行排序，获得第二数据集，其中，所述第一数据集和所述第二数据集均包括多个数据；划分所述第二数据集，获得N个数据子集，所述N个数据子集中的每个数据子集包括所述第二数据集中连续排列的至少两个数据，N为大于或等于2的整数；根据所述N个数据子集中的第i个数据子集，确定第i个子树，所述i取遍1到N中的任意一个正整数，共获得N个子树，其中，所述第i个子树用于查找所述第i个数据子集包括的数据；对所述N个子树进行合并操作，获得所述第二数据集的树，所述树用于查找所述第二数据集包括的数据。
在本申请实施例中，加速装置可以对排序后的数据集进行划分，获得多个数据子集，并分别根据多个数据子集，确定多个子树，进而根据这多个子树确定树，加速装置在确定树的过程中，无需处理器或加速装置生成指令，以及译码指令等过程，减少了数据处理过程，有利于提高数据处理的效率。并且，加速装置可以并行根据多个数据子集，确定多个子树，从而提高加速装置处理多个子树的效率，也就提高了确定数据集的树的效率，由于创建树的过程属于数据处理过程，因此提高了确定树的效率，也就提高了处理数据的效率。可选的，加速装置可以是计算设备中的独立于处理器的器件，由专门的加速装置对数据进行处理，可减少计算设备中的处理器的负载。
在一种可能的实施方式中，加速装置对第一数据集进行排序的方式具体包括：确定第一数据组，所述第一数据组为对所述第一数据集中的部分数据进行排序后的结果；将所述第一数据组中的每个第一位置上的数据，与第二数据组中与所述每个第一位置对应的位置上的目标数据进行比较，确定目标位置，其中，所述目标位置是指在所述第一数据组中用于插入所述目标数据的位置，所述第二数据组与所述第一数据组包括的数据的个数相同，且所述第二数据组包括的任一数据均为所述目标数据，所述目标数据为所述第一数据集中除了所述部分数据之外的数据；将所述目标数据插入到所述目标位置中，获得所述第二数据集。
在上述实施方式中，加速装置可以将已排序的数据(即第一数据组)中的各个数据并行与待排序的数据(目标数据)进行比较，而不是将一个数据与多个数据进行逐一比较，即相当于并行将目标数据与多个数据进行比较，提高加速装置对数据集进行排序的效率，对数据集进行排序的过程也属于数据处理过程，因此也就能够提高数据处理的效率。并且，在加速装置进行排序的过程中，无需加速装置或处理器生成和译码指令等过程，也有利于提高数据处理的效率。
在一种可能的实施方式中，加速装置还可以对第二数据集进行分组，一种加速装置对第二数据集进行分组的过程包括：确定第三数据组，其中，所述第三数据组包括多个目标键，所述目标键为目标分组的键，所述第三数据组与所述第二数据集包括的数据的个数相同；将所述第二数据集中的每个第二位置上的数据，与所述第三数据组中的与所述每个第二位置对应的位置上的数据进行比较，确定所述第二数据集中与目标键匹配的至少一个数据；将所述至少一个数据确定为所述目标分组；将所述目标分组的信息和所述目标分组写入外存中，其中，所述目标分组的信息包括所述目标键。
在上述实施方式中，加速装置可以将待分组的数据(即第二数据集)均与目标分组的分组键进行比较，从而可以一次性确定与目标键匹配的至少一个数据，也就确定了目标分组包括这至少一个数据，提高了加速装置对数据集进行分组的效率，对数据集进行分组的过程也属于数据处理过程，因此也就能够提高数据处理的效率。
在一种可能的实施方式中，所述目标分组的信息还可以包括所述至少一个数据的数据个数、所述至少一个数据的最大值、所述至少一个数据的最小值以及所述至少一个数据的求和结果中的一种或多种。
在上述实施方式中，加速装置在确定目标分组之后，还可以确定目标分组的信息，以便于为用户提供更多的目标分组中的数据统计信息。
在一种可能的实施方式中，所述方法还包括：确定目标执行计划，所述目标执行计划用于指示对所述第一数据集执行的操作。
在上述实施方式中，加速装置可以确定目标执行计划，目标执行计划包括对第一数据集执行的操作，例如上述中的排序操作、分组操作或创建树操作等一种或多种。如此，便于加速装置后续按照目标执行计划，对第一数据集执行相应的操作。
在一种可能的实施方式中，所述方法还包括：从处理器接收第一请求，其中，所述第一请求用于请求对所述第一数据集进行处理；根据所述第一请求获取所述第一数据集。
在上述实施方式中，加速装置可以从处理器接收第一请求，根据第一请求获取第一数据集，提供了一种加速装置获取第一数据集的方式。并且，无需处理器对第一数据集进行处理，有利于减少处理器的处理量。
在一种可能的实施方式中，所述加速装置和所述处理器可以均设置在计算设备中，所述加速装置可以通过PCIe与所述处理器连接。
在上述实施方式中，加速装置与处理器可通过PCIe连接，无需单独设计加速装置与处理器之间的连接方式，有利于降低计算设备的成本。另外，加速装置可以替代处理器对数据执行排序操作、分组操作和创建树操作等一种或多种，有利于减少处理器的处理量。
第二方面，本申请实施例提供一种数据处理方法，该方法可以由加速装置执行，所述方法包括：对第一数据集进行排序，获得第二数据集，其中，所述第一数据集和所述第二数据集均包括多个数据；确定第三数据组，其中，所述第三数据组包括多个第一键，所述第一键为目标分组的键，所述第三数据组与所述第二数据集包括的数据的个数相同；将所述第二数据集中的每个第二位置上的数据，与所述第三数据组中的与所述每个第二位置对应的位置上的数据进行比较，确定所述第二数据集中与目标键匹配的至少一个数据；将所述至少一个数据确定为所述目标分组；将所述目标分组的信息和所述目标分组写入外存中，其中，所述目标分组的信息包括所述目标键。
在一种可能的实施方式中，所述目标分组的信息可以还包括所述至少一个数据的数据个数、所述至少一个数据的最大值、所述至少一个数据的最小值以及所述至少一个数据的求和结果中的一种或多种。
在一种可能的实施方式中，对第一数据集进行排序，获得第二数据集，包括：确定第一数据组，所述第一数据组为对所述第一数据集中的部分数据进行排序后的结果；将所述第一数据组中的每个第一位置上的数据，与第二数据组中与所述每个第一位置对应的位置上的目标数据进行比较，确定目标位置，其中，所述目标位置是指在所述第一数据组中用于插入所述目标数据的位置，所述第二数据组与所述第一数据组包括的数据的个数相同，且所述第二数据组包括的任一数据均为所述目标数据，所述目标数据为所述第一数据集中除了所述部分数据之外的数据；将所述目标数据插入到所述目标位置中，获得所述第二数据集。
在一种可能的实施方式中，所述方法包括：划分所述第二数据集，获得N个数据子集，所述N个数据子集中的每个数据子集包括所述第二数据集中连续排列的至少两个数据，N为大于或等于2的整数；根据所述N个数据子集中的第i个数据子集，确定第i个子树，所述i取遍1到N中的任意一个正整数， 共获得N个子树，其中，所述第i个子树用于查找所述第i个数据子集包括的数据；对所述N个子树进行合并操作，获得所述第二数据集的树，所述树用于查找所述第二数据集包括的数据。
在一种可能的实施方式中，所述方法还包括：确定目标执行计划，所述目标执行计划用于指示对所述第一数据集执行的操作。
在一种可能的实施方式中，所述方法还包括：从处理器接收第一请求，其中，所述第一请求用于请求对所述第一数据集进行处理；根据所述第一请求获取所述第一数据集。
在一种可能的实施方式中，所述方法还包括：所述加速装置和所述处理器均设置在计算设备中，所述加速装置通过PCIe与所述处理器连接。
第三方面，本申请实施例提供一种数据处理方法，所述方法可以由加速装置执行，所述方法包括：获取第一数据集，所述第一数据集包括多个数据；确定第一数组，所述第一数组为所述第一数据集中的部分数据进行排序的结果；将所述第一数据组中的每个第一位置上的数据，与第二数据组中与所述每个第一位置对应的位置上的目标数据进行比较，确定目标位置，其中，所述目标位置是指在所述第一数据组中用于插入所述目标数据的位置，所述第二数据组与所述第一数据组包括的数据的个数相同，且所述第二数据组包括的任一数据均为所述目标数据，所述目标数据为所述第一数据集中除了所述部分数据之外的数据；将所述目标数据插入到所述目标位置中，获得所述第二数据集。
在一种可能的实施方式中，所述方法包括：确定第三数据组，其中，所述第三数据组包括多个第一键，所述第一键为目标分组的键，所述第三数据组与所述第二数据集包括的数据的个数相同；将所述第二数据集中的每个第二位置上的数据，与所述第三数据组中的与所述每个第二位置对应的位置上的数据进行比较，确定所述第二数据集中与目标键匹配的至少一个数据；将所述至少一个数据确定为所述目标分组；将所述目标分组的信息和所述目标分组写入外存中，其中，所述目标分组的信息包括所述目标键。
在一种可能的实施方式中，所述目标分组的信息还包括所述至少一个数据包括的数据的个数、所述至少一个数据的最大值、所述至少一个数据的最小值以及所述至少一个数据的求和结果中的一种或多种。
在一种可能的实施方式中，所述方法包括：划分所述第二数据集，获得N个数据子集，所述N个数据子集中的每个数据子集包括所述第二数据集中连续排列的至少两个数据，N为大于或等于2的整数；根据所述N个数据子集中的第i个数据子集，确定第i个子树，所述i取遍1到N中的任意一个正整数，共获得N个子树，其中，所述第i个子树用于查找所述第i个数据子集包括的数据；对所述N个子树进行合并操作，获得所述第二数据集的树，所述树用于查找所述第二数据集包括的数据。
在一种可能的实施方式中，所述方法还包括：确定目标执行计划，所述目标执行计划用于指示对所述第一数据集执行的操作。
在一种可能的实施方式中，所述方法还包括：从处理器接收第一请求，其中，所述第一请求用于请求对所述第一数据集进行处理；根据所述第一请求获取所述第一数据集。
在一种可能的实施方式中，所述方法还包括：所述加速装置和所述处理器均设置在计算设备中，所述加速装置通过PCIe与所述处理器连接。
第四方面，本申请实施例提供一种加速装置，所述装置包括：排序模块，用于对第一数据集进行排序，获得第二数据集，其中，所述第一数据集和所述第二数据集均包括多个数据；树创建模块，用于划分所述第二数据集，获得N个数据子集，所述N个数据子集中的每个数据子集包括所述第二数据集中连续排列的至少两个数据，N为大于或等于2的整数，根据所述N个数据子集中的第i个数据子集，确定第i个子树，所述i取遍1到N中的任意一个正整数，共获得N个子树，其中，所述第i个子树用于查找所述第i个数据子集包括的数据，以及对所述N个子树进行合并操作，获得所述第二数据集的树，所述树用于查找所述第二数据集包括的数据。
在一种可能的实施方式中，所述排序模块具体用于：确定第一数据组，所述第一数据组为对所述第一数据集中的部分数据进行排序后的结果；将所述第一数据组中的每个第一位置上的数据，与第二数据组中与所述每个第一位置对应的位置上的目标数据进行比较，确定目标位置，其中，所述目标位置是指在所述第一数据组中用于插入所述目标数据的位置，所述第二数据组与所述第一数据组包括的数据的个数相同，且所述第二数据组包括的任一数据均为所述目标数据，所述目标数据为所述第一数据集中除了所述部分数据之外的数据；将所述目标数据插入到所述目标位置中，获得所述第二数据集。
在一种可能的实施方式中，所述装置还包括分组模块，所述分组模块具体用于：确定第三数据组，其中，所述第三数据组包括多个目标键，所述目标键为目标分组的键，所述第三数据组与所述第二数据 集包括的数据的个数相同；将所述第二数据集中的每个第二位置上的数据，与所述第三数据组中的与所述每个第二位置对应的位置上的数据进行比较，确定所述第二数据集中与目标键匹配的至少一个数据；将所述至少一个数据确定为所述目标分组；将所述目标分组的信息和所述目标分组写入外存中，其中，所述目标分组的信息包括所述目标键。
在一种可能的实施方式中，所述目标分组的信息还包括所述至少一个数据包括的数据的个数、所述至少一个数据的最大值、所述至少一个数据的最小值以及所述至少一个数据的求和结果中的一种或多种。
在一种可能的实施方式中，所述装置还包括执行计划确定模块，所述执行计划确定模块用于：确定目标执行计划，所述目标执行计划用于指示对所述第一数据集执行的操作。
在一种可能的实施方式中，所述装置包括数据获取模块，所述数据获取模块用于：从处理器接收第一请求，其中，所述第一请求用于请求对所述第一数据集进行处理；根据所述第一请求获取所述第一数据集。
第五方面，本申请实施例提供一种加速装置，所述装置包括：排序模块，用于对第一数据集进行排序，获得第二数据集，其中，所述第一数据集和所述第二数据集均包括多个数据；确定第三数据组，其中，所述第三数据组包括多个第一键，所述第一键为目标分组的键，所述第三数据组与所述第二数据集包括的数据的个数相同；分组模块，用于将所述第二数据集中的每个第二位置上的数据，与所述第三数据组中的与所述每个第二位置对应的位置上的数据进行比较，确定所述第二数据集中与目标键匹配的至少一个数据，将所述至少一个数据确定为所述目标分组，以及将所述目标分组的信息和所述目标分组写入外存中，其中，所述目标分组的信息包括所述目标键。
在一种可能的实施方式中，所述目标分组的信息还包括所述至少一个数据包括的数据的个数、所述至少一个数据的最大值、所述至少一个数据的最小值以及所述至少一个数据的求和结果中的一种或多种。
在一种可能的实施方式中，所述排序模块具体用于：确定第一数据组，所述第一数据组为对所述第一数据集中的部分数据进行排序后的结果；将所述第一数据组中的每个第一位置上的数据，与第二数据组中与所述每个第一位置对应的位置上的目标数据进行比较，确定目标位置，其中，所述目标位置是指在所述第一数据组中用于插入所述目标数据的位置，所述第二数据组与所述第一数据组包括的数据的个数相同，且所述第二数据组包括的任一数据均为所述目标数据，所述目标数据为所述第一数据集中除了所述部分数据之外的数据；将所述目标数据插入到所述目标位置中，获得所述第二数据集。
在一种可能的实施方式中，所述装置还包括树创建模块，所述树创建模块用于划分所述第二数据集，获得N个数据子集，所述N个数据子集中的每个数据子集包括所述第二数据集中连续排列的至少两个数据，N为大于或等于2的整数；根据所述N个数据子集中的第i个数据子集，确定第i个子树，所述i取遍1到N中的任意一个正整数，共获得N个子树，其中，所述第i个子树用于查找所述第i个数据子集包括的数据；对所述N个子树进行合并操作，获得所述第二数据集的树，所述树用于查找所述第二数据集包括的数据。
在一种可能的实施方式中，所述装置还包括执行计划确定模块，所述执行计划确定模块用于：确定目标执行计划，所述目标执行计划用于指示对所述第一数据集执行的操作。
在一种可能的实施方式中，所述装置还包括数据获取模块，所述数据获取模块用于：从处理器接收第一请求，其中，所述第一请求用于请求对所述第一数据集进行处理；根据所述第一请求获取所述第一数据集。
在一种可能的实施方式中，所述装置和所述处理器均设置在计算设备中，所述装置通过快捷外围部件互连标准PCIe与所述处理器连接。
第六方面，本申请实施例提供一种加速装置，所述装置包括：数据获取模块，用于获取第一数据集，所述第一数据集包括多个数据；排序模块，用于确定第一数组，所述第一数组为所述第一数据集中的部分数据进行排序的结果；将所述第一数据组中的每个第一位置上的数据，与第二数据组中与所述每个第一位置对应的位置上的目标数据进行比较，确定目标位置，其中，所述目标位置是指在所述第一数据组中用于插入所述目标数据的位置，所述第二数据组与所述第一数据组包括的数据的个数相同，且所述第二数据组包括的任一数据均为所述目标数据，所述目标数据为所述第一数据集中除了所述部分数据之外的数据；将所述目标数据插入到所述目标位置中，获得所述第二数据集。
在一种可能的实施方式中，所述装置还包括分组模块，用于：确定第三数据组，其中，所述第三数据组包括多个第一键，所述第一键为目标分组的键，所述第三数据组与所述第二数据集包括的数据的个 数相同；将所述第二数据集中的每个第二位置上的数据，与所述第三数据组中的与所述每个第二位置对应的位置上的数据进行比较，确定所述第二数据集中与目标键匹配的至少一个数据；将所述至少一个数据确定为所述目标分组；将所述目标分组的信息和所述目标分组写入外存中，其中，所述目标分组的信息包括所述目标键。
在一种可能的实施方式中，所述目标分组的信息还包括所述至少一个数据包括的数据的个数、所述至少一个数据的最大值、所述至少一个数据的最小值以及所述至少一个数据的求和结果中的一种或多种。
在一种可能的实施方式中，所述装置还包括树创建模块，用于：划分所述第二数据集，获得N个数据子集，所述N个数据子集中的每个数据子集包括所述第二数据集中连续排列的至少两个数据，N为大于或等于2的整数；根据所述N个数据子集中的第i个数据子集，确定第i个子树，所述i取遍1到N中的任意一个正整数，共获得N个子树，其中，所述第i个子树用于查找所述第i个数据子集包括的数据；对所述N个子树进行合并操作，获得所述第二数据集的树，所述树用于查找所述第二数据集包括的数据。
在一种可能的实施方式中，所述装置还包括执行计划确定模块，用于：确定目标执行计划，所述目标执行计划用于指示对所述第一数据集执行的操作。
在一种可能的实施方式中，所述装置还包括数据获取模块，用于：从处理器接收第一请求，其中，所述第一请求用于请求对所述第一数据集进行处理；根据所述第一请求获取所述第一数据集。
在一种可能的实施方式中，所述装置和所述处理器均设置在计算设备中，所述装置通过快捷外围部件互连标准PCIe与所述处理器连接。
第七方面，本申请实施例提供一种加速装置，包括：处理器和供电电路；所述供电电路为所述处理器供电，所述处理器用于执行第一方面至第三方面中任一的数据处理方法。
在一种可能的实施方式中，所述加速装置还包括其他部件，例如，天线，输入输出模块，接口等等。这些部件可以是硬件，软件，或者软件和硬件的结合。
第八方面，本申请实施例提供一种计算设备，所述计算设备包括第七方面中的加速装置。
第九方面，本申请实施例提供一种计算设备，所述计算设备包括加速装置和处理器；所述处理器用于向所述加速装置发送第一请求，其中，所述第一请求用于请求所述加速装置对第一数据集进行处理；所述加速装置用于执行第一方面至第三方面中任一的数据处理方法，以对所述第一数据集进行处理。
第十方面，本申请实施例提供一种芯片系统，该芯片系统包括：处理器和接口。其中，该处理器用于从该接口调用并运行指令，当该处理器执行该指令时，实现上述第一方面至第三方面中任一的数据处理方法。
第十一方面，提供一种计算机可读存储介质，该计算机可读存储介质用于存储计算机程序或指令，当其被运行时，实现上述第一方面至第三方面中任一的数据处理方法。
第十二方面，提供一种包含指令的计算机程序产品，当其在计算机上运行时，实现上述第一方面至第三方面中任一的数据处理方法。
关于第二方面至第十二方面的有益效果，可参照第一方面论述的有益效果，此处不再列举。
附图说明
图1为本申请实施例适用的一种场景示意图；
图2为本申请实施例适用的另一种场景示意图；
图3为本申请实施例提供的一种数据处理系统的结构示意图；
图4为本申请实施例提供的另一种数据处理系统的结构示意图；
图5为本申请实施例提供的又一种数据处理系统的结构示意图；
图6为本申请实施例提供的一种数据处理方法的流程示意图一；
图7为本申请实施例提供的一种对第一数据集执行转换操作的原理示意图；
图8为本申请实施例提供的一种对第一数据集进行排序的过程示意图；
图9为本申请实施例提供的一种创建树的过程示意图；
图10为本申请实施例提供的一种创建树的原理示意图；
图11为本申请实施例提供的一种对数据进行分组的过程示意图；
图12为本申请实施例提供的一种页的结构示意图；
图13至图16为本申请实施例提供的几种数据处理方法的流程示意图；
图17至图18为本申请实施例提供的两种加速装置的结构示意图。
具体实施方式
为了使本申请实施例的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施例作进一步地详细描述。
以下，对本申请实施例中的部分用语进行解释说明，以便于本领域技术人员理解。
1、终端设备，是一种具有无线收发功能的设备，可以是固定设备，移动设备、手持设备、穿戴设备、车载设备，或内置于上述设备中的无线装置(例如，通信模块或芯片系统等)。所述终端设备用于连接人，物，机器等，可广泛用于各种场景，例如包括但不限于以下场景：蜂窝通信、设备到设备通信(device-to-device，D2D)、车到一切(vehicle to everything，V2X)、机器到机器/机器类通信(machine-to-machine/machine-type communications，M2M/MTC)、物联网(internet of things，IoT)、虚拟现实(virtual reality，VR)、增强现实(augmented reality，AR)、工业控制(industrial control)、无人驾驶(self driving)、远程医疗(remote medical)、智能电网(smart grid)、智能家具、智能办公、智能穿戴、智能交通，智慧城市(smart city)、无人机、机器人等场景的终端设备。所述终端设备有时可称为用户设备(user equipment，UE)、终端、接入站、UE站、远方站、无线通信设备、或用户装置等等。
2、节点，可以是单个设备。本申请实施例所示的节点还可以是逻辑概念，例如为软件模块，本申请实施例对此不作具体限定。
本申请实施例中，对于名词的数目，除非特别说明，表示“单数名词或复数名词”，即"一个或多个”。“至少一个”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B的情况，其中A,B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。例如，A/B，表示：A或B。“以下至少一项(个)”或其类似表达，是指的这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a,b,或c中的至少一项(个)，表示：a,b,c,a和b,a和c,b和c,或a和b和c，其中a,b,c可以是单个，也可以是多个。
请参照图1，为本申请实施例适用的一种场景示意图。或者，图1也可理解为本申请实施例提供的一种数据处理系统的结构示意图。如图1所示，该场景包括终端设备110、运行在终端设备110中的客户端111和计算设备120。其中，终端设备110与计算设备120之间可以通过以太网或无线网络(如无线保真(wireless fidelity，WIFI)或第5代(5th generation，5G)通信)技术相互通信。
客户端111可为软件模块或者程序。用户可以通过客户端111向计算设备120发起数据处理请求，数据处理请求例如为用于请求读取数据库中的数据的数据读取请求，或为用于请求向数据库中写入数据的数据写入请求。其中，计算设备120可以对数据库进行读操作或写操作。计算设备120可以根据数据处理请求，执行相应的数据处理。其中，计算设备120泛指具有处理能力的设备，例如服务器或终端设备等。
请参照图2，为本申请实施例适用的一种场景示意图。或者，图2也可理解为本申请实施例提供的一种数据处理系统的结构示意图。与图1不同的是，图2中的数据处理系统220包括一个或多个计算设备221，数据处理系统220与客户端211通信，以处理客户端211的数据处理请求。
如图2所示，该场景包括终端设备210、运行在终端设备210中的客户端211和数据处理系统220。终端设备210与数据处理系统220之间可以通过以太网或无线网络(如WIFI、第5代(5th generation，5G)通信)技术相互通信。
在图2中是以数据处理系统220包括的计算设备221的数量为三个为例进行示例，实际不限制数据处理系统220包括的计算设备221的数量。其中，数据处理系统220包括的任意两个计算设备221的结构可以是相同的。
在一种可能的实施方式中，数据处理系统220可为分布式数据处理系统。其中，分布式数据处理系统可包括中心化的分布式数据处理系统和去中心化的分布式数据处理系统。
请参照图3，为本申请实施例提供的一种分布式数据处理系统的结构示意图。图3例如可为一种中心化的分布式数据处理系统的结构示意图。如图3所示，数据处理系统300包括主节点310和一个或多 个从节点320。主节点310也可以称为控制节点或管理节点等，从节点320也可以称为工作节点。主节点310可与客户端相互通信，主节点310和任一从节点320之间也可相互通信。
主节点310用于接收来自客户端的数据处理请求，以及将客户端的数据处理请求分配给一个或多个从节点320中的某个从节点320处理。从节点320用于对数据处理请求进行处理。其中，客户端的含义可参照前文论述的内容，客户端例如为图2中的客户端211。其中，主节点310和从节点320均可通过计算设备实现，例如一个主节点310为一个计算设备，一个从节点320为一个计算设备。
请参照图4，为本申请实施例提供的另一种分布式数据处理系统的结构示意图。或者，图4例如可为一种去中心化的分布式数据处理系统的结构示意图。与图3不同的是，图4中的任意两个节点的功能是相同的。
如图4所示，数据处理系统400包括多个节点(如图4所示的第一节点410、第二节点420和第三节点430)，第一节点410、第二节点420和第三节点430中的任一节点均可与客户端之间相互通信，并且用于接收来自客户端的数据处理请求，以及处理数据处理请求。其中，第一节点410、第二节点420和第三节点430)中的任一节点可通过计算设备实现，例如任一节点为一个计算设备。
请参照图5，为本申请实施例提供的一种计算设备的结构示意图。图5中的计算设备500可以是图1中的计算设备120、图2中的计算设备221、图3中的主节点310、图3中的从节点320、图4中的第一节点410、图4中的第二节点420或图4中的第三节点430。
如图5所示，计算设备500包括处理器510、加速装置520、内存530和外存540。处理器510、加速装置520、内存530和外存540之间可通过总线550通信。其中，总线550在图5中以粗线表示，总线550可以为基于快捷外围部件互连标准(peripheral component interconnect express，PCIe)的线路。
处理器510可以为中央处理器(central processing unit，CPU)、专用集成电路(application specific integrated circuit，ASIC)、现场可编程门阵列(field programmable gate array，FPGA)、人工智能(artificial intelligence，AI)芯片、片上系统(system on chip，SoC)、复杂可编程逻辑器件(complex programmable logic device，CPLD)或图形处理器(graphics processing unit，GPU)。
加速装置520为用于专门处理数据的器件，可以为SOC、DPU或智能网卡等。
内存530可以包括易失性存储器(volatile memory)，例如随机存取存储器(random access memory，RAM)或动态随机存取存储器(dynamic random access memory，DRAM)等，也可以包括非易失性存储器(non-volatile memory)，例如存储级内存(storage class memory，SCM)等，或者易失性存储器与非易失性存储器的组合等。
内存530还可以包括操作系统等其他运行进程所需的软件模块。操作系统可以为LINUXTM、UNIXTM或WINDOWSTM等。内存530中还可以存储数据库中的数据，如内存530中所存储的数据可以包括数据库中最近写入的数据。可选的，当内存530中的数据量达到一定阈值时，处理器510可以将内存530中的数据存储至外存540中，以进行持久化存储。在需要读取数据库的数据时，从外存540中读取的数据可以先存储在内存530，也可以是说，内存530中所存储的数据也可以包括从外存540中读取的数据。
外存540也可以称为辅助存储器，外存540可以为非易失性存储器(non-volatile memory)，例如只读存储器(read-only memory，ROM)、磁盘或硬盘(hard disk)等。外存540可以用于持久化存储数据。
在内存530存储有数据库中的数据的情况下，内存530中所存储的数据库中的数据和外存540中所存储的数据库中的数据的格式(或称为存储方式)可以相同，也可以不同。例如，内存530和外存540中所存储的数据库中的数据均可以为行格式或以列格式。其中，行格式是指以行为准的格式(或称为存储方式)，列格式是指以列为准的格式(或称为存储方式)。又例如，内存530所存储的数据库中的数据为行格式，外存540中所存储的数据库中的数据是为列格式。又例如，内存530所存储的数据库中的数据为列格式，外存540中所存储的数据库中的数据为行格式。
请参照图6，为本申请实施例提供的一种数据处理方法的流程示意图。图6所示的数据处理方法可以由加速装置执行，图6所示的实施例涉及的加速装置例如可为图5中的加速装置520。图6所示的实施例涉及的加速装置例如可以设置在图1的计算设备120、图2的计算设备221、图3的主节点310、图3的从节点320、图4的第一节点410、图4的第二节点420、或者图4的第三节点430中。图6所示的数据处理方法包括如下步骤：
S601、加速装置对第一数据集进行排序，获得第二数据集。
例如，加速装置从处理器接收第一请求，第一请求用于请求对第一数据集进行处理。第一请求可为 前文中的数据处理请求的一种示例。加速装置接收第一请求，从而确定对第一数据集进行处理。
其中，第一数据集包括多个数据，第一数据集可以是计算设备的数据库中的部分或全部数据。加速装置可以对计算设备中的数据库进行读操作或写操作等，计算设备例如为图1的计算设备120、图2的计算设备221、图3的主节点310、图3的从节点320、图4的第一节点410、图4的第二节点420、或者图4的第三节点430。其中，第一数据集的格式可以为行格式和/或列格式。其中，行格式和列格式的含义可参照前文。第一数据集中的数据的类型可以是任意的类型，例如，字符型或整型等。
示例性的，第一请求包括第一数据集，如此，加速装置接收第一请求，也就获得了第一数据集。或者，第一请求包括第一地址，第一地址为存储第一数据集的地址，如此，加速装置在获得第一请求之后，可以根据第一地址，获取第一数据集。
例如，第一数据集为数据库中的全部数据，第一请求包括数据库的地址(即第一地址)，加速装置根据第一地址，从而获得第一数据集。
请参照表1，为本申请实施例提供的一种第一数据集的示例。
表1
如上述表1所示的第一数据集的格式为行格式。
可选的，第一数据集中的数据的类型可以是任意的，例如，第一数据集包括的数据的类型可以为整型、字符型、时间或日期一种或多种类型。
作为一个示例，加速装置可处理多种数据类型的数据，例如，加速装置可以支持对整型、字符型、时间或日期一种或多种类型的数据进行处理。相应的，加速装置可以支持对多种类型的数据库执行写操作和/或读操作，例如，加速装置支持对PostgreSQL或MySQL执行写操作和/或读操作。PostgreSQL和MySQL为两种数据库。
请参照表2，为本申请实施例提供的加速装置支持的数据的类型，以及支持的数据类型对应的数据库的类型的一种示例。
表2
作为一个示例，第一数据集的格式可能不符合加速装置处理的需求，和/或第一数据集的类型不符合加速装置的需求，因此加速装置获取第一数据集之后，可以对第一数据集执行转换操作，获得转换后的第一数据集。其中，转换操作包括格式转换操作和/或类型转换操作。其中，格式转换操作是指将一种格式的数据转换为另一种格式的数据，类型转换操作是指将一种类型的数据转换为另一种类型的数据。
下面对加速装置对第一数据集执行转换操作的情况进行介绍。
情况一、加速装置确定第一数据集的信息，根据第一数据集的信息，对从数据库中获取的第一数据集执行转换操作。第一数据集的信息包括第一数据集的格式和/或类型的信息。情况一适用于加速装置之前没有处理过数据库中的数据的情况。例如，情况一适用于加速装置通过复制(copy)命令从数据库中获取第一数据集的情况。
请参照图7，为本申请实施例提供的一种对第一数据集执行转换操作的原理示意图。
S7.1、加速装置解析数据库的数据定义语言(data definition language，DDL)，获得第一数据集的信息。
S7.2、加速装置根据第一数据集的信息，对第一数据集执行转换操作，从而获得转换后的第一数据集。转换操作的内容可参照前文论述的内容。
情况二、加速装置对第一数据集直接执行转换操作。情况二适用于加速装置之前已处理过数据库中的数据的情况。例如，情况二适用于加速装置通过插入(inset)命令从数据库中获取第一数据集的情况。
具体的，加速装置之前已经处理过数据库中的数据(为便于区分，加速装置之前已经处理过的数据称为历史数据)，加速装置后又需对该数据库中的第一数据集进行处理，这种情况下，加速装置相当于已经获得了历史数据的信息，也就相当于获取了第一数据集的信息，因此加速装置可直接执行S7.3，即加速装置直接对第一数据集执行转换操作。如此，无需加速装置获取第一数据集的信息，有利于减少加速装置的处理量。
作为另一个示例，如果第一数据集的格式和/或类型符合加速装置的处理需求，那么加速装置可以无需对第一数据集进行转换操作。
在加速装置对第一数据集执行转换操作的情况下，加速装置可以对转换后的第一数据集进行排序操作，获得第二数据集。或者，加速装置无需对第一数据集执行转换操作的情况下，加速装置可以对第一数据集执行排序操作，获得第二数据集。加速装置对转换后的第一数据集或第一数据集执行排序操作的方式是相同的，下面以加速装置对第一数据集执行排序操作为例进行介绍。
示例性的，加速装置将第一数据集中的已排序的多个数据与第一数据集中的待排序的数据进行比较，将未排序的数据插入到已排序的数据中，直到加速装置对第一数据集中的所有数据均排完序，则获得第二数据集。可选的，加速装置可以将已排序的多个数据同步与第一数据集中的待排序的数据进行比较。
具体而言，加速装置对第一数据集中的部分数据进行排序，获得第一数据组。第一数据集中的部分数据为第一数据集中的多个数据，部分数据例如可为第一数据集包括的两个数据。第一数据组可以视为已排序的多个数据。本申请实施例中的数据组可以理解为具有一定顺序的多个数据的排列结果，一个数据组也可视为一个向量。
加速装置确定第二数据组，第二数据组中的每个元素均为目标数据。目标数据为第一数据集中处除了部分数据之外的数据。其中，目标数据视为第一数据集中待排序的数据。加速装置将第一数据组中的每个位置(为了便于区分，称为第一位置)上的数据，与第二数据组中与所述每个第一位置上对应的数据进行比较，这相当于对第一数据组和第二数据组进行了向量化比较，从而确定在第一数据组中插入目标数据的位置，即目标位置。加速装置将目标数据插入目标位置，从而获得第二数据集。
其中，加速装置将第一数据组中的每个位置(为了便于区分，称为第一位置)上的数据，与第二数据组中与所述每个第一位置上对应的数据进行比较，可以具体理解为加速装置将第一数据组中的第一个位置上的数据与第二数据组中的第一个位置上的数据进行比较，将第一数据组中的第二个位置上的数据与第二数据组中的第二个位置上的数据进行比较，以此类推。
上述是以待排序的目标数据为一个进行说明，在待排序的目标数据包括多个的情况下，加速装置可以分别根据多个目标数据，确定多个第二数据组，其中，每个第二数据组包括的元素均为多个目标数据中的一个。加速装置可以确定多个第二数据组中的每个第二数据组中的目标数据对应的目标位置，其中，加速装置确定一个目标位置的方式可参照前述的内容，此处不再列举。加速装置将多个目标数据分别插入第一数据组中对应的目标位置中，从而获得第二数据集。
示例性的，加速装置可以根据多个目标数据中的一个目标数据，确定一个第二数据组，以及确定第一数据组。加速装置将第一数据组中的每个第一位置上的数据与第二数据组中与所述每个第一位置上的数据进行比较，确定所述一个目标数据对应的目标位置。加速装置将所述一个目标数据插入所述一个目标位置之后，获得更新后的第一数据组。加速装置可以确定多个目标数据中的另一个目标数据对应的第 二数据组，确定另一个目标数据对应的目标位置。加速装置将另一个目标数据插入更新后的第一数据组中，以此类推，直到加速装置处理完多个目标数据，获得最终更新后的第一数据组，所述最终更新后的第一数据组即为第二数据集。
可选的，加速装置可以按照第一规则，对第一数据组和第二数据组进行比较。其中，第一规则，例如为按照数据从大到小的规则进行排序，或者为按照数据从大到小的规则进行排序。第一规则可以是被预配置在加速装置中的，或者加速装置自行确定的，例如，第一请求指示第一规则，加速装置接收第一请求之后，也就获得了第一规则。例如，第一请求包括比较函数，加速装置可根据比较函数确定第一规则。其中，比较函数用于表示排序数据所采用的函数。
可选的，加速装置包括第一寄存器和第二寄存器。寄存器可用于存储数据组。由于寄存器用于存储数据组，因此寄存器也可以称为向量(或数组)寄存器。
示例性的，在对第一数据集执行排序操作的过程中，加速装置可以将第一数据组写入第一寄存器，以及将第二数据组写入第二寄存器，加速装置通过第一寄存器和第二寄存器，对第一数据组中的每个第一位置上的数据和第二数据组中的与每个第一位置上的数据进行比较。
例如，请参照图8，为本申请实施例提供的一种第二数据组和第一数据组的示意图。在图8中是以第一数据集包括：1、4、5、4、7、9、3和10为例。如图8所示，加速装置确定的第一数据组具体为：1、4、5、7、9和10；加速装置确定第二数据组具体为：3、3、3、3、3和3，即目标数据为3。
加速装置可以将第一数据组中的每个第一位置上的数据与第二数据组中的与所述每个第一位置上的数据进行比较，在图8中以虚线表示比较。具体的，加速装置将第一数据组中的第一个位置上的数据(即1)与第二数据组中的第一个位置上的数据(即3)比较，将第一数据组中的第二个位置上的数据(即4)与第二数据组中的第二个位置上的数据(即3)进行比较，将第一数据组中的第三个位置上的数据(即5)与第二数据组中的第三个位置上的数据(即3)进行比较，将第一数据组中的第四个位置上的数据(即7)与第二数据组中的第四个位置上的数据(即3)进行比较，将第一数据组中的第五个位置上的数据(即9)与第二数据组中的第五个位置上的数据(即3)进行比较，以及将第一数据组中的第六个位置上的数据(即10)与第二数据组中的第六个位置上的数据(即3)进行比较。也就相当于加速装置将第一数据集中的待排序的数据并行与已排序的多个数据进行了比较，确定目标位置，即为第一数据组中的第二个位置。加速装置可以将目标数据插入第一数据组中的第二个位置，从而获得第二数据集，即第二数据集具体为：1、3、4、5、7、9和10。
S602、加速装置划分第二数据集，获得N个数据子集。其中，N为大于或等于2的整数。其中，N个数据子集中的每个数据子集包括第二数据集中连续排列的多个数据。
划分可以理解为分组，或者可以理解为将第二数据集依次划分为多个数据子集。其中，N个数据子集中的任意两个数据子集不重叠，换言之，N个数据子集中的任意两个子集不包括同一个数据。可选的，N个数据子集中的任意两个数据子集包括的数据的个数是相同的。
例如，第二数据集具体为：1、3、4、5、7、9、10、13、14、20、24、25、27、29、30、33、34和37。加速装置可以将第二数据集划分为两个数据子集，其中一个数据子集具体为：1、3、4、5、7、9、10、13和14，另一个数据子集具体为：20、24、25、27、29、30、33、34和37。
示例性的，加速装置可以按照预设个数，划分第二数据集，以获得N个数据子集。预设个数为每个数据子集包括的数据的个数。其中，预设个数可以是被预存在加速装置中的，或者可以是加速装置根据第二数据集包括的数据的总个数确定的。
S603、加速装置根据N个数据子集，获得N个子树。
示例性的，加速装置可以并行对N个数据子集进行处理，获得N个子树。其中，子树可以称为子树索引，可以理解为数据子集的数据索引结构。其中每个子树对应一个数据子集，一个数据子集对应的子树用于查找所述一个数据子集中的数据。
其中，加速装置确定N个子树中的每个子树的方式相同，下面以加速装置确定N个子树中的一个子树为例进行介绍。
加速装置可以被预配置有树的层级，或者用户在加速装置中设置有树的层级。加速装置确定了树的层级，也就相当于获得了子树的层级，子树的层级例如为树的层级减一。加速装置可以根据一个数据子集以及子树的层级，确定一个子树。
示例性的，加速装置将该数据子集包括的每个数据作为一个叶子节点，可以获得多个叶子节点。 加速装置确定多个叶子节点的上层节点的值，以此类推，获得满足所述子树的层级的子树。
可选的，加速装置可按照第二规则，确定多个叶子节点的上层节点的值，第二规则例如为：沿上层节点的第一方向(如左边)的叶子节点的值小于上层节点的值，沿上层节点的第二方向(如右边)的叶子节点的值大于上层节点的值。
例如，请参照图9，为本申请实施例提供的一种创建树的过程示意图。在图9中以第二数据集对应的第一数据子集包括1、2、3、8、9和10，第二数据子集包括13、15、16、19、23和26，以及以子树的层级为2级为例进行介绍。
如图9所示，加速装置将第一数据子集中的每个数据作为一个叶子节点，并确定第一数据子集对应的叶子节点的上层节点的值为6，从而获得子树1。同理，加速装置将第二数据子集中的每个也作为一个叶子节点，并确定第一数据子集对应的叶子节点的上层节点的值为17，从而获得子树2。
S604、加速装置对N个子树进行合并操作，获得第二数据集的树。
其中，树也可以称为树状索引，可以理解为第二数据集的索引结构。树用于查找第二数据集中的数据。
加速装置可以按照N个数据子集的第一顺序，将这N个数据子集对应的N个子树进行合并操作，从而获得第二数据集的树。其中，N个子树中的任一子树可以理解为树(也可成为树状索引)的一部分。合并操作可以理解为按照所述第一顺序，依次连接这N个子树，并确定N个子树的根节点的值，从而获得树。其中，树包括根节点和N个子树。可选的，加速装置也可以按照第二规则，确定根节点的值。第二规则的内容可以参照前文。
继续参照图9，加速装置可以将子树1和子树2进行合并，并确定这两个子树的根节点的值为11，从而获得如图9所示的树。
在一种可能的实施方式中，加速装置可包括多个索引模块和计算模块。每个索引模块和计算模块可以通过硬件或软件实现。其中，每个索引模块可以包括控制子模块和运算子模块，计算模块也可以包括控制子模块和运算子模块。这多个索引模块中的每个索引模块可以用于创建N个子树中的一个子树。计算模块可以对多个索引模块输出的N个子树进行合并操作，从而获得树。在该实施方式中，加速装置可以通过多个索引模块并行创建多个子树，从而提高加速装置创建树的效率。
其中，加速装置对第二数据集执行上述S602-S604的过程可以视为加速装置对第二数据集执行了创建树操作。
请参照图10，为本申请实施例提供的一种创建树的原理示意图。如图10所示，加速装置包括多个索引模块，多个索引模块中的每个索引模块可以根据N个数据子集中的一个数据子集，获得一个子树，这多个索引模块可以对应输出N个子树(包括图10中的子树1、子树2和子树N)。计算模块对这N个子树进行合并操作，获得第二数据集的树。
在本申请实施例中，加速装置确定第二数据集的树的过程中，加速装置或处理器无需生成指令以及译码指令等，有利于简化数据处理的过程，提高加速装置的处理数据的效率。并且，加速装置可以并行创建多个子树，也有利于提高创建第二数据集的树的效率，也就提高数据处理的效率。另外，本申请实施例还提供一种对第一数据集进行排序的方法，在对第一数据集进行排序的过程中，加速装置可以并行对第一数据组中的多个数据和第二数据组中的多个目标数据进行比较，有利于快速确定目标数据在第一数据组中的位置，提高对第一数据集进行排序的效率，也就能提高处理数据的效率。
在一种可能的实施方式中，加速装置还可以对第二数据集执行分组操作。下面介绍加速装置执行分组操作的方式。
加速装置可以将第二数据集中的多个数据与目标分组的分组键进行比较，确定与目标键匹配的至少一个数据。加速装置将这至少一个数据确定为目标分组。分组键可以是加速装置确定的，或者加速装置根据第一请求确定的，例如，第一请求包括分组键，加速装置接收第一请求，也就相当于获得了分组键。
示例性的，加速装置根据目标分组的目标键，获得第三数据组。其中，第三数据组与所述第二数据集包括的数据的个数相同，且第三数据组中的每个元素均为目标键。加速装置可以将第二数据集中的每个位置(为了便于区分，称为第二位置)上的数据，与第三数据组中的与每个第二位置上对应的位置上的数据进行比较，从而确定与目标键匹配的至少一个数据，将这至少一个数据划分为目标分组。换言之，目标分组包括的数据为所述至少一个数据。
其中，与目标键匹配的数据可以为数据的索引与目标键相同的数据，可以是数据的索引小于或等于目标键的数据，可以是数据与目标键相同，或者数据小于或等于目标键。
可选的，加速装置可包括第三寄存器和第四寄存器，加速装置可将第二数据集写入第三寄存器，将第三数据组写入第四寄存器，并通过第三寄存器和第四寄存器，对第二数据集和第三数据组进行比较。其中，寄存器的实现方式可参照前文论述的内容。
例如，请参照图11，为本申请实施例提供的一种对数据进行分组的过程示意图。如图11所示，第二数据集包括1、1、1、2、2、2和2、以及目标键为1。加速装置根据目标键，确定第三数据组具体为：1、1、1、1、1、1和1。
加速装置可以将第一数据集中的每个第二位置上的数据与第三数据组中与每个第二位置上的数据进行比较，从而确定与目标键匹配的至少一个数据。
具体的，加速装置将第一个位置上的数据(即1)与第三数据组中的第一个位置上的数据(即1)进行比较，将第一数据集中的第二个位置上的数据(即1)与第三数据组中的第二个位置上的数据(即1)进行比较，将第一数据集中的第三个位置上的数据(即1)与第三数据组中的第三个位置上的数据(即1)进行比较，将第一数据集中的第四个位置上的数据(即2)与第三数据组中的第四个位置上的数据(即1)进行比较，将第一数据集中的第五个位置上的数据(即2)与第三数据组中的第五个位置上的数据(即1)进行比较，将第一数据集中的第六个位置上的数据(即2)与第三数据组中的第六个位置上的数据(即1)进行比较，以及将第一数据集中的第七个位置上的数据(即2)与第三数据组中的第七个位置上的数据(即1)进行比较，从而确定第一数据集中的第一个位置、第二个位置和第三个位置上的数据与目标键匹配。从而加速装置确定将第一数据集中的第一个位置、第二个位置和第三个位置上的数据确定为目标分组。
加速装置获得目标分组之后，可以将目标分组的信息和目标分组写入外存。其中，外存的内容可以参照前文。目标分组的信息包括目标键。
可选的，目标分组的信息还包括目标分组包括的数据(即至少一个数据)的个数(count)、目标分组包括的数据(即至少一个数据)中的最大值(max)、目标分组包括的数据(即至少一个数据)中的最小值(min)、或目标分组包括的数据(即至少一个数据)的求和结果(sum)中的一种或多种。
可选的，加速装置可以根据多个目标键，确定多个目标分组，其中，加速装置确定每个目标分组的方式可参照前文论述的内容。
在加速装置确定多个目标分组的情况下，加速装置可以以页(page)的形式存储这多个目标分组的信息。其中，一个目标分组的信息以及一个目标分组可以对应存储在一个页或多个页中。
可选的，一个页除了存储目标分组的信息和目标分组之外，所述一个页还包括所述一个页的信息。所述一个页的信息包括所述一个页的标识。
其中，所述一个页的信息还包括所述一个页的页头(page head)、目标分组所属的表的标识、用于存放与所述一个页对应的目标分组的页的个数、所述一个页的索引、目标分组的总个数、所述一个页包括的目标分组的数量、以及所述一个页包括的分组键的个数中的一种或多种。
例如，请参照图12，为本申请实施例提供的一种页的结构示意图。如图12所示，该页包括该页的信息和该页包含的目标分组的信息。如图12所示，页的信息包括页的标识、页的索引和下一页的索引。目标分组的信息包括分组的标识(如分组1或分组2)、索引1至索引n、分组包括的数据的个数、分组中的最大值、最小值、以及求和结果等。
在一种可能的实施方式中，加速装置可以对数据进行更新。例如，加速装置可以对第二数据集进行更新、插入或删除操作等，这种情况下，加速装置可以对第二数据集进行更新，还可对第二数据集对应的目标分组的信息进更新。例如，加速装置可以根据更新的数据对应的分组键，对该分组键对应的分组的信息进行更新，并对该分组所在的页的信息进行更新。
请参照图13，为本申请实施例提供的一种数据处理方法的流程示意图。图13所示的实施例涉及的数据处理方法例如应用于图1所示的应用场景。图13所示的实施例涉及的计算设备例如为图1的计算设备120、图2的计算设备221、图3的主节点310、图3的从节点320、图4的第一节点410、图4的第二节点420、或者图4的第三节点430，图13所示的实施例涉及的计算设备的结构示意图例如为图5所示的计算设备的结构示意图，图13所示的实施例涉及的处理器例如为图5所示的处理器510，以及图13所示的实施例涉及的加速装置例如为图5所示的加速装置520。图13所示的数据处理方法包括如 下处理步骤：
S1301、处理器向加速装置发送第一请求。相应的，加速装置接收来自处理器的第一请求。
第一请求的含义可以参照前文。在本申请实施例中，以第一请求包括第一地址，且地址具体指示为外存中某个地址。可选的，第一请求还包括结构化查询语言(structured query language，SQL)语句。
S1302、加速装置从外存中获取第一数据集。
加速装置可以根据第一地址，获取第一数据集。其中，第一数据集的内容可以参照前文。
S1301-S1302为加速装置获取第一数据集的方式，如果加速装置采用其他方式获取第一数据集时，加速装置可以无需执行S1301-S1302的步骤，即S1301-S1302为可选的步骤。
S1303、加速装置确定目标执行计划。
加速装置可以确定用于处理第一数据集的目标执行计划。其中，目标执行计划包括加速装置对第一数据集需执行的操作，例如，创建树操作、转换操作、排序操作或分组操作中的一种或多种。
可选的，加速装置可从多个优化器中确定与第一数据集匹配的目标优化器，并从目标优化器接收目标执行计划。其中，优化器又可以称为查询优化器，用于确定执行计划。目标优化器可根据第一请求中的结构化查询语言(structured query language，SQL)语句，确定与第一数据集对应的目标执行计划。在该方式中，无需处理器确定目标执行计划，有利于减少处理器的处理量。
在本申请实施例中，是以目标执行计划包括对第一数据集进行排序操作和创建树操作为例进行介绍。
S1304、加速装置对第一数据集进行排序，获得第二数据集。
其中，加速装置对第一数据集进行排序的内容可以参照前文论述的内容，此处不再赘述。
S1305、加速装置划分第二数据集，获得N个数据子集。
加速装置划分第二数据集的方式、以及数据子集的内容均可以参照前文论述的内容，此处不再赘述。
S1306、加速装置根据N个数据子集，确定N个子树。
加速装置确定N个子树的方式可以参照前文论述的内容，此处不再赘述。
S1307、加速装置对N个子树进行合并操作，获得第二数据集的树。
其中，加速装置对N个子树进行合并操作的具体内容可以参照前文论述的内容，此处不再赘述。
S1308、加速装置对第二数据集进行分组，获得目标分组。
其中，目标分组、分组的具体过程可以参照前文论述的内容，此处不再赘述。
S1309、加速装置将目标分组的信息和目标分组写入外存。外存例如为图5所示的外存540。
其中，目标分组的信息的内容可以参照前文论述的内容。
请参照图14，为本申请实施例提供的一种数据处理方法的流程示意图。图14所示的实施例涉及的数据处理方法例如应用于图2至图5任一所示的应用场景。图14所示的实施例涉及的第一节点和第二节点例如为图2中的两个计算设备221，或者，图14所示的实施例涉及的第一节点例如为图3中的主节点310，第二节点例如为图3中的从节点320，或者，图14所示的实施例涉及的第一节点例如为图4中的第一节点410，第二节点例如为图4中的第二节点420或第三节点430。图14所示的实施例以第一节点包括第一处理器和第一加速装置，以及第二节点包括第二处理器、第二加速装置和外存为例。图14所示的实施例涉及的第一加速装置或第二加速装置例如为图5所示的加速装置520。图14所示的数据处理方法包括如下处理步骤：
S1401、第一处理器接收第二请求。第二请求用于请求对第一数据集进行处理。
第一处理器可以从客户端接收第二请求，客户端例如为图1中的客户端111，或者为图2中的客户端211。
S1402、第一处理器向第一加速装置发送第二请求。相应的，第一加速装置接收来自第一处理器的第二请求。
S1403、第一加速装置确定目标执行计划。
其中，第一加速装置确定目标执行计划的内容可以参照前文论述的内容。
S1404、第一加速装置向第二处理器发送目标执行计划。相应的，第二处理器接收来自第一加速装置的目标执行计划。
S1405、第二处理器向第二加速装置发送第一请求。相应的，第二加速装置接收来自第二处理器的第一请求。
可选的，第一请求包括目标执行计划。
S1401-S1405为第二加速装置获取第一数据集的一种方式，当第二加速装置采用其他方式确定第一数据集时，则无需执行S1401-S1405，即S1401-S1405为可选的步骤。
S1406、第二加速装置获取第一数据集。
示例性的，第二加速装置根据第一请求，获得第一数据集。
S1407、第二加速装置对第一数据集进行排序，获得第二数据集。
对第一数据集进行排序的内容可以参照前文论述的内容，此处不再赘述。
在一种可能的实施方式中，第二加速装置对第一数据集执行转换操作，获得转换后的第一数据集。其中，转换操作的内容可以参照前文，此处不再赘述。
S1408、第二加速装置划分第二数据集，获得N个数据子集。
其中，第二加速装置获得N个数据子集的方式可以参照前文论述的内容，此处不再赘述。
S1409、第二加速装置根据N个数据子集，确定N个子树。
第二加速装置确定N个子树的内容可以参照前文论述的内容。
S1410、第二加速装置对N个子树进行合并操作，获得第二数据集的树。
其中，树的含义、以及第二加速装置对N个子树进行合并操作的内容可以参照前文。
S1411、第二加速装置将第二数据集的树和第二数据集写入外存。
S1412、第二加速装置对第二数据集进行分组，获得目标分组，以及目标分组的信息。
其中，目标分组以及目标分组的信息可以参照前文论述的内容。
S1413、第二加速装置将目标分组和目标分组的信息写入外存。
作为一个示例，S1411-S1413为可选的步骤，在图14中以虚线示意。
在本申请实施例中，可以由第一加速装置确定目标执行计划，而无需由第一处理器确定目标执行计划，有利于减少第一处理器的处理量。并且，第二加速装置可以对第一数据集执行排序操作、转换操作、分组操作和创建树操作中的一种或多种，且执行过程中无需第一处理器译码和下发指令，有利于简化处理数据的过程，提高处理数据的效率。
本申请实施例还提供一种数据处理方法。请参照图15，为该方法的一种流程示意图。图15所示的方法可以由加速装置执行，加速装置例如可为图5中的加速装置520。图15所示的实施例涉及的加速装置例如可以设置在图1的计算设备120、图2的计算设备221、图3的主节点310、图3的从节点320、图4的第一节点410、图4的第二节点420、或者图4的第三节点430中。图15所示的数据处理方法包括如下处理步骤：
S1501、加速装置对第一数据集进行排序，获得第二数据集。
加速装置确定第二数据集的方式可以参照前文论述的内容。
S1502、加速装置确定第三数据组。
第三数据组的内容，以及加速装置确定第三数据组的内容可以参照前文论述的内容。
S1503、加速装置将第二数据集中的每个第二位置上的数据，与第三数据组中的与每个第二位置对应的位置上的数据进行比较，确定第二数据集中与目标键匹配的至少一个数据。
加速装置确定目标键匹配的至少一个数据的方式可以参照前文论述的内容。
S1504、将至少一个数据确定为目标分组，并将目标分组的信息和目标分组写入外存中。
其中，目标分组的信息的内容可以参照前文论述的内容。
在本申请实施例中，加速装置可以并行对第三数据组中的多个数据，以及第二数据集中的多个数据进行比较，提高了加速装置对第二数据集进行分组的效率。并且，无需加速装置或处理器译码或下发指令等，也有利于提高加速装置执行分组操作的效率。
在一种可能的实施方式中，加速装置可以对第一数据集进行创建树操作和/或转换操作，执行创建树操作和转换操作的内容可以参照前文论述的内容，此处不再赘述。
本申请实施例还提供一种数据处理方法。请参照图16，为该方法的一种流程示意图。图16所示的方法可以由加速装置执行，加速装置例如可为图5中的加速装置520。图16所示的实施例涉及的加速装置例如可以设置在图1的计算设备120、图2的计算设备221、图3的主节点310、图3的从节点320、图4的第一节点410、图4的第二节点420、或者图4的第三节点430中。图16所示的数据处理方法包括如下处理步骤：
S1601、加速装置获取第一数据集。
加速装置获得第一数据集的内容可以参照前文论述的内容。
S1602、加速装置确定第一数据组。
第一数据组的内容、确定第一数据组的方式可参照前文论述的内容。
在一种可能的实施方式中，加速装置可以对第一数据集执行转换操作。执行转换操作的内容可以参照前文论述的内容。
S1603、加速装置将第一数据组中的每个第一位置上的数据，与第二数据组中每个第一位置对应的位置上的目标数据进行比较，确定目标位置。
加速装置确定目标位置的方式也可参照前文论述的内容。
S1604、加速装置将目标数据插入到目标位置中，获得第二数据集。
加速装置获得第二数据集的内容也可参照前文论述的内容。
在一种可能的实施方式中，加速装置可以对第一数据集进行创建树操作和/或分组操作，执行创建树操作和分组操作的内容可以参照前文论述的内容，此处不再赘述。
请参照图17，为本申请的实施例提供的加速装置的结构示意图。如图17所示，加速装置1700包括数据获取模块1701、分组模块1703、排序模块1704和树创建模块1706。可选的，加速装置1700还包括转换模块1702、执行计划确定模块1705、驱动模块1708和接口模块1709。其中，加速装置1700中的任意两个模块之间可以通信总线1707连接。
可选的，图17中所示的多个模块可以是通过软件实现，也可以是通过硬件实现，本申请实施例对此不做限定。
在本申请实施例中，加速装置1700可以用于实现前文任一的数据处理方法，例如图6、图13至图16中任一的数据处理方法。
在一种可能的实施例中，加速装置1700可用于实现前文图6、图13和图14所示的数据处理方法。
例如，加速装置1700可用于实现前文图6所示的数据处理方法。具体的，排序模块1704用于执行S601，树创建模块1706用于执行S602-S604的步骤。
又例如，加速装置1700中的可用于实现前文图13中任一的数据处理方法。具体的，排序模块1704用于执行S1304的步骤，树创建模块1706用于执行S1304-S1307的步骤。可选的，数据获取模块1701用于执行S1301-S1302的步骤，执行计划确定模块1705用于执行S1303的步骤，分组模块1703用于执行S1308的步骤。
又例如，加速装置1700中的可用于实现前文图14中任一的数据处理方法。具体的，数据获取模块1701用于执行S1406的步骤，排序模块1704用于执行S1407的步骤，树创建模块1706用于执行S1408至S1410的步骤。
在一种可能的实施例中，加速装置1700可用于实现前文图15中任一的数据处理方法。具体的，排序模块1704用于执行S1501的步骤，分组模块1703用于执行S1502-S1504的步骤。
在一种可能的实施例中，加速装置1700可用于实现前文图16中任一的数据处理方法。
具体的，数据获取模块1701用于执行S1601的步骤，排序模块1704用于执行S1602-S1604的步骤。
在一种可能的实施方式中，加速装置1700可以包括多个转换模块1702，每个转换模块1702用于将一种格式的数据转换为另一种格式的数据，和/或用于将一种数据类型的数据转换为另一种数据类型的数据。加速装置1700可以根据第一数据集的信息，从多个转换模块1702中确定用于处理第一数据集的转换模块1702。在该实施方式中，加速装置1700可以利用多个转换模块1702，并行对多个数据进行处理，有利于提高加速装置1700进行格式转换的效率。
在一种可能的实施方式中，加速装置1700可包括多个树创建模块1706，每个树创建模块1706例如可用于实现前文中论述的索引模块的功能。索引模块的内容可以参照前文图10的内容。其中，树创建模块1706可以包括控制子模块和运算子模块。这多个树创建模块1706中的每个树创建模块1706可以用于创建一个子树。在该实施方式中，加速装置1700可以通过多个树创建模块1706并行创建多个子树，从而提高加速装置1700创建树的效率，也就能提高处理数据的效率。
可选的，加速装置1700可以通过驱动模块1708调用加速装置1700的硬件资源，接口模块1709可以用于与外部设备(如处理器)进行通信。
请参照图18，为本申请实施例提供的一种加速装置的结构示意图。如图18所示，加速装置1800包括处理器1801和供电电路1802。供电电路1802用于为处理器1801供电。其中，处理器1801可实 现前文任一的数据处理方法，例如实现前文图6、图13至图16中任一的数据处理方法。可选的，加速装置1800可用于实现图17中的加速装置1700的功能。
可选的，加速装置1800还包括寄存器，寄存器例如包括图6所示的实施例涉及的第一寄存器、第二寄存器、第三寄存器和第四寄存器。
本申请实施例提供一种计算设备，所述计算设备包括加速装置和处理器。处理器可以用于向加速装置发送第一请求，第一请求的含义可以参照前文。加速装置根据第一请求，获得第一数据集，并对第一数据集执行前文论述的任一数据处理方法，例如实现前文图6、图13至图16中任一数据处理方法。其中，处理器和加速装置的具体实现形式可以参照前文论述的内容。可选的，加速装置的结构例如可为图17所示的加速装置1700或图18所示的加速装置1800。
本申请实施例提供一种芯片系统，该芯片系统包括：处理器和接口。其中，该处理器用于从该接口调用并运行指令，当该处理器执行该指令时，实现前文任一数据处理方法，例如实现前文图6、图13至图16中任一数据处理方法。
本申请实施例提供一种计算机可读存储介质，该计算机可读存储介质用于存储计算机程序或指令，当其被运行时，实现前文任一数据处理方法，例如实现前文图6、图13至图16中任一数据处理方法。
本申请实施例提供一种包含指令的计算机程序产品，当其在计算机上运行时，实现前文任一数据处理方法，例如实现前文图6、图13至图16中任一数据处理方法。
本申请的实施例中的方法步骤可以通过硬件的方式来实现，也可以由处理器执行软件指令的方式来实现。软件指令可以由相应的软件模块组成，软件模块可以被存放于随机存取存储器、闪存、只读存储器、可编程只读存储器、可擦除可编程只读存储器、电可擦除可编程只读存储器、寄存器、硬盘、移动硬盘、CD-ROM或者本领域熟知的任何其它形式的存储介质中。一种示例性的存储介质耦合至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息。当然，存储介质也可以是处理器的组成部分。处理器和存储介质可以位于ASIC中。另外，该ASIC可以位于基站或终端中。当然，处理器和存储介质也可以作为分立组件存在于基站或终端中。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机程序或指令。在计算机上加载和执行所述计算机程序或指令时，全部或部分地执行本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、网络设备、用户设备或者其它可编程装置。所述计算机程序或指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机程序或指令可以从一个网站站点、计算机、服务器或数据中心通过有线或无线方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是集成一个或多个可用介质的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，例如，软盘、硬盘、磁带；也可以是光介质，例如，数字视频光盘；还可以是半导体介质，例如，固态硬盘。该计算机可读存储介质可以是易失性或非易失性存储介质，或可包括易失性和非易失性两种类型的存储介质。
在本申请的各个实施例中，如果没有特殊说明以及逻辑冲突，不同的实施例之间的术语和/或描述具有一致性、且可以相互引用，不同的实施例中的技术特征根据其内在的逻辑关系可以组合形成新的实施例。
可以理解的是，在本申请的实施例中涉及的各种数字编号仅为描述方便进行的区分，并不用来限制本申请的实施例的范围。上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定。

Claims (24)

  1. 一种数据处理方法，其特征在于，应用于加速装置，所述方法包括：
    对第一数据集进行排序，获得第二数据集，其中，所述第一数据集和所述第二数据集均包括多个数据；
    划分所述第二数据集，获得N个数据子集，所述N个数据子集中的每个数据子集包括所述第二数据集中连续排列的至少两个数据，N为大于或等于2的整数；
    根据所述N个数据子集中的第i个数据子集，确定第i个子树，所述i取遍1到N中的任意一个正整数，共获得N个子树，其中，所述第i个子树用于查找所述第i个数据子集包括的数据；
    对所述N个子树进行合并操作，获得所述第二数据集的树，所述树用于查找所述第二数据集包括的数据。
  2. 根据权利要求1所述的方法，其特征在于，对第一数据集进行排序，获得第二数据集，包括：
    确定第一数据组，所述第一数据组为对所述第一数据集中的部分数据进行排序后的结果；
    将所述第一数据组中的每个第一位置上的数据，与第二数据组中与所述每个第一位置对应的位置上的目标数据进行比较，确定目标位置，其中，所述目标位置是指在所述第一数据组中用于插入所述目标数据的位置，所述第二数据组与所述第一数据组包括的数据的个数相同，且所述第二数据组包括的任一数据均为所述目标数据，所述目标数据为所述第一数据集中除了所述部分数据之外的数据；
    将所述目标数据插入到所述目标位置中，获得所述第二数据集。
  3. 根据权利要求1或2所述的方法，其特征在于，所述方法还包括：
    确定第三数据组，其中，所述第三数据组包括多个目标键，所述目标键为目标分组的键，所述第三数据组与所述第二数据集包括的数据的个数相同；
    将所述第二数据集中的每个第二位置上的数据，与所述第三数据组中的与所述每个第二位置对应的位置上的数据进行比较，确定所述第二数据集中与目标键匹配的至少一个数据；
    将所述至少一个数据确定为所述目标分组；
    将所述目标分组的信息和所述目标分组写入外存中，其中，所述目标分组的信息包括所述目标键。
  4. 根据权利要求3所述的方法，其特征在于，所述目标分组的信息还包括所述至少一个数据包括的数据的个数、所述至少一个数据的最大值、所述至少一个数据的最小值以及所述至少一个数据的求和结果中的一种或多种。
  5. 根据权利要求1-4任一项所述的方法，其特征在于，所述方法还包括：
    确定目标执行计划，所述目标执行计划用于指示对所述第一数据集执行的操作。
  6. 根据权利要求1-5任一项所述的方法，其特征在于，所述方法还包括：
    从处理器接收第一请求，其中，所述第一请求用于请求对所述第一数据集进行处理；
    根据所述第一请求获取所述第一数据集。
  7. 根据权利要求6所述的方法，其特征在于，所述方法还包括：
    所述加速装置和所述处理器均设置在计算设备中，所述加速装置通过快捷外围部件互连标准PCIe与所述处理器连接。
  8. 一种数据处理方法，其特征在于，应用于加速装置中，所述方法包括：
    对第一数据集进行排序，获得第二数据集，其中，所述第一数据集和所述第二数据集均包括多个数据；
    确定第三数据组，其中，所述第三数据组包括多个第一键，所述第一键为目标分组的键，所述第三数据组与所述第二数据集包括的数据的个数相同；
    将所述第二数据集中的每个第二位置上的数据，与所述第三数据组中的与所述每个第二位置对应的位置上的数据进行比较，确定所述第二数据集中与目标键匹配的至少一个数据；
    将所述至少一个数据确定为所述目标分组；
    将所述目标分组的信息和所述目标分组写入外存中，其中，所述目标分组的信息包括所述目标键。
  9. 根据权利要求8所述的方法，其特征在于，所述目标分组的信息还包括所述至少一个数据的数据个数、所述至少一个数据的最大值、所述至少一个数据的最小值以及所述至少一个数据的求和结果中的一种或多种。
  10. 一种数据处理方法，其特征在于，应用于加速装置中，所述方法包括：
    获取第一数据集，所述第一数据集包括多个数据；
    确定第一数组，所述第一数组为所述第一数据集中的部分数据进行排序的结果；
    将所述第一数据组中的每个第一位置上的数据，与第二数据组中与所述每个第一位置对应的位置上的目标数据进行比较，确定目标位置，其中，所述目标位置是指在所述第一数据组中用于插入所述目标数据的位置，所述第二数据组与所述第一数据组包括的数据的个数相同，且所述第二数据组包括的任一数据均为所述目标数据，所述目标数据为所述第一数据集中除了所述部分数据之外的数据；
    将所述目标数据插入到所述目标位置中，获得所述第二数据集。
  11. 一种加速装置，其特征在于，包括：
    排序模块，用于对第一数据集进行排序，获得第二数据集，其中，所述第一数据集和所述第二数据集均包括多个数据；
    树创建模块，用于划分所述第二数据集，获得N个数据子集，所述N个数据子集中的每个数据子集包括所述第二数据集中连续排列的至少两个数据，N为大于或等于2的整数，根据所述N个数据子集中的第i个数据子集，确定第i个子树，所述i取遍1到N中的任意一个正整数，共获得N个子树，其中，所述第i个子树用于查找所述第i个数据子集包括的数据，以及对所述N个子树进行合并操作，获得所述第二数据集的树，所述树用于查找所述第二数据集包括的数据。
  12. 根据权利要求11所述的装置，其特征在于，所述排序模块具体用于：
    确定第一数据组，所述第一数据组为对所述第一数据集中的部分数据进行排序后的结果；
    将所述第一数据组中的每个第一位置上的数据，与第二数据组中与所述每个第一位置对应的位置上的目标数据进行比较，确定目标位置，其中，所述目标位置是指在所述第一数据组中用于插入所述目标数据的位置，所述第二数据组与所述第一数据组包括的数据的个数相同，且所述第二数据组包括的任一数据均为所述目标数据，所述目标数据为所述第一数据集中除了所述部分数据之外的数据；
    将所述目标数据插入到所述目标位置中，获得所述第二数据集。
  13. 根据权利要求11或12所述的装置，其特征在于，所述装置还包括分组模块，用于：
    确定第三数据组，其中，所述第三数据组包括多个目标键，所述目标键为目标分组的键，所述第三数据组与所述第二数据集包括的数据的个数相同；
    将所述第二数据集中的每个第二位置上的数据，与所述第三数据组中的与所述每个第二位置对应的位置上的数据进行比较，确定所述第二数据集中与目标键匹配的至少一个数据；
    将所述至少一个数据确定为所述目标分组；
    将所述目标分组的信息和所述目标分组写入外存中，其中，所述目标分组的信息包括所述目标键。
  14. 根据权利要求13所述的装置，其特征在于，所述目标分组的信息还包括所述至少一个数据包括的数据的个数、所述至少一个数据的最大值、所述至少一个数据的最小值以及所述至少一个数据的求和结果中的一种或多种。
  15. 根据权利要求11-14任一项所述的装置，其特征在于，所述装置还包括执行计划确定模块，用于确定目标执行计划，所述目标执行计划用于指示对所述第一数据集执行的操作。
  16. 根据权利要求15所述的装置，其特征在于，所述装置还包括数据获取模块，用于从处理器接收第一请求，其中，所述第一请求用于请求对所述第一数据集进行处理；根据所述第一请求获取所述第一数据集。
  17. 根据权利要求16所述的装置，其特征在于，所述装置和所述处理器均设置在第一设备中，所述装置通过快捷外围部件互连标准PCIe与所述处理器连接。
  18. 一种加速装置，其特征在于，包括：
    排序模块，用于对第一数据集进行排序，获得第二数据集，其中，所述第一数据集和所述第二数据集均包括多个数据；
    分组模块，用于确定第三数据组，其中，所述第三数据组包括多个第一键，所述第一键为目标分组的键，所述第三数据组与所述第二数据集包括的数据的个数相同，将第三数据组中的每个第二位置上的第一键，与所述第二数据集中的与所述每个第二位置对应位置上的数据进行比较，确定所述第二数据集中与目标键匹配的至少一个数据，以及将所述至少一个数据确定为所述目标分组；将所述目标分组的信息和所述目标分组写入硬盘中，其中，所述目标分组的信息包括所述目标键。
  19. 一种加速装置，其特征在于，包括：
    数据获取模块，获取第一数据集，所述第一数据集包括多个数据；
    排序模块，确定第一数组，所述第一数组为所述第一数据集中的部分数据进行排序的结果，将所述第一数据组中的每个第一位置上的数据，与第二数据组中与所述每个第一位置对应的位置上的目标数据进行比较，确定目标位置，其中，所述目标位置是指在所述第一数据组中用于插入所述目标数据的位置，所述第二数据组与所述第一数据组包括的数据的个数相同，且所述第二数据组包括的任一数据均为所述目标数据，所述目标数据为所述第一数据集中除了所述部分数据之外的数据，以及将所述目标数据插入到所述目标位置中，获得所述第二数据集。
  20. 一种加速装置，其特征在于，包括处理器和供电电路，所述供电电路用于为所述处理器供电，所述处理器用于执行如权利要求1-7、8-9或10任一项所述的方法。
  21. 一种计算设备，其特征在于，包括如权利要求20所述的加速装置。
  22. 一种计算设备，其特征在于，所述计算设备包括加速装置和处理器；
    所述处理器，用于向所述加速装置发送第一请求，其中，所述第一请求用于请求所述加速装置对第一数据集进行处理；
    所述加速装置，用于执行如权利要求1-7、8-9或10任一项所述的方法，以对所述第一数据集进行处理。
  23. 一种包含指令的计算机程序产品，其特征在于，当所述指令被计算设备集群运行时，使得所述计算设备集群执行如权利要求1-7、8-9或10任一项所述的方法。
  24. 一种计算机可读存储介质，其特征在于，所述存储介质中存储有计算机程序或指令，当所述计算机程序或指令被通信装置执行时，实现如权利要求1-7、8-9或10任一项所述的方法。
PCT/CN2023/101752 2022-09-08 2023-06-21 一种数据处理方法及装置 WO2024051271A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202211097889.0 2022-09-08
CN202211097889.0A CN117669709A (zh) 2022-09-08 2022-09-08 一种数据处理方法及装置

Publications (1)

Publication Number Publication Date
WO2024051271A1 true WO2024051271A1 (zh) 2024-03-14

Family

ID=90072112

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2023/101752 WO2024051271A1 (zh) 2022-09-08 2023-06-21 一种数据处理方法及装置

Country Status (2)

Country Link
CN (1) CN117669709A (zh)
WO (1) WO2024051271A1 (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150046478A1 (en) * 2013-08-07 2015-02-12 International Business Machines Corporation Hardware implementation of a tournament tree sort algorithm
US20150363470A1 (en) * 2014-06-12 2015-12-17 International Business Machines Corporation Index merge ordering
CN107870781A (zh) * 2016-09-27 2018-04-03 华为数字技术（苏州）有限公司 一种数据并行聚类方法及装置
US20200073633A1 (en) * 2018-08-31 2020-03-05 International Business Machines Corporation Parallel sort accelerator sharing first level processor cache
CN111858606A (zh) * 2020-07-24 2020-10-30 北京金山云网络技术有限公司 数据处理方法、装置和电子设备
CN113111227A (zh) * 2021-04-14 2021-07-13 深圳市元征科技股份有限公司 数据处理方法、装置、电子设备及存储介质
CN114676138A (zh) * 2022-03-29 2022-06-28 上海徐毓智能科技有限公司 数据处理方法、电子设备及可读存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150046478A1 (en) * 2013-08-07 2015-02-12 International Business Machines Corporation Hardware implementation of a tournament tree sort algorithm
US20150363470A1 (en) * 2014-06-12 2015-12-17 International Business Machines Corporation Index merge ordering
CN107870781A (zh) * 2016-09-27 2018-04-03 华为数字技术（苏州）有限公司 一种数据并行聚类方法及装置
US20200073633A1 (en) * 2018-08-31 2020-03-05 International Business Machines Corporation Parallel sort accelerator sharing first level processor cache
CN111858606A (zh) * 2020-07-24 2020-10-30 北京金山云网络技术有限公司 数据处理方法、装置和电子设备
CN113111227A (zh) * 2021-04-14 2021-07-13 深圳市元征科技股份有限公司 数据处理方法、装置、电子设备及存储介质
CN114676138A (zh) * 2022-03-29 2022-06-28 上海徐毓智能科技有限公司 数据处理方法、电子设备及可读存储介质

Also Published As

Publication number Publication date
CN117669709A (zh) 2024-03-08

Similar Documents

Publication Publication Date Title
CN110199273B (zh) 用于在多维数据库环境中的一次扫描中进行加载、聚合和批量计算的系统和方法
US20210279282A1 (en) Efficient, in-memory, relational representation for heterogeneous graphs
US20170337229A1 (en) Spatial indexing for distributed storage using local indexes
CN103106249B (zh) 一种基于Cassandra的数据并行处理系统
US20140351239A1 (en) Hardware acceleration for query operators
US11995087B2 (en) Near-memory acceleration for database operations
US9721007B2 (en) Parallel data sorting
US20150293994A1 (en) Enhanced graph traversal
US10146828B2 (en) System and method of storing and analyzing information
WO2019024060A1 (zh) 数据存储方法、装置和存储介质
CN105335403A (zh) 数据库访问方法及装置、数据库系统
CN105117433A (zh) 一种基于Hive解析HFile统计查询HBase的方法和系统
US20200242098A1 (en) Electronic apparatus, data chain archiving method, system and storage medium
CN109918450B (zh) 基于分析类场景下的分布式并行数据库及存储方法
US10019473B2 (en) Accessing an external table in parallel to execute a query
WO2023143096A1 (zh) 数据查询方法、装置、设备及存储介质
CN109344186A (zh) 一种bi系统多源数据库跨源跨库融合系统和融合方法
CN111723161A (zh) 一种数据处理方法、装置及设备
CN116992887A (zh) 一种元数据的数据目录处理方法、装置以及处理设备
CN113111038A (zh) 文件存储方法、装置、服务器及存储介质
CN114372097B (zh) 一种数据集列序列化的高效连接比对实现方法及装置
US11544260B2 (en) Transaction processing method and system, and server
CN103064991A (zh) 一种海量数据聚类方法
CN103810197A (zh) 一种基于Hadoop的数据处理方法及其系统
JP4511469B2 (ja) 情報処理方法及び情報処理システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23861974

Country of ref document: EP

Kind code of ref document: A1