WO2021056737A1 - 高频业务数据的数据压缩方法、装置、设备及存储介质 - Google Patents

高频业务数据的数据压缩方法、装置、设备及存储介质 Download PDF

Info

Publication number
WO2021056737A1
WO2021056737A1 PCT/CN2019/117697 CN2019117697W WO2021056737A1 WO 2021056737 A1 WO2021056737 A1 WO 2021056737A1 CN 2019117697 W CN2019117697 W CN 2019117697W WO 2021056737 A1 WO2021056737 A1 WO 2021056737A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
field
frequency service
service data
difference
Prior art date
Application number
PCT/CN2019/117697
Other languages
English (en)
French (fr)
Inventor
张鹏
李正洋
Original Assignee
平安科技（深圳）有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 平安科技（深圳）有限公司 filed Critical 平安科技（深圳）有限公司
Publication of WO2021056737A1 publication Critical patent/WO2021056737A1/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/04—Protocols for data compression, e.g. ROHC
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services
    • H04L67/565—Conversion or adaptation of application format or content
    • H04L67/5651—Reducing the amount or size of exchanged application data

Definitions

  • This application relates to the technical field of big data processing, in particular to a data compression method, device, equipment and storage medium for high-frequency service data.
  • High-frequency services involve computerized services that seek profit in extremely short-lived market changes that people cannot take advantage of.
  • Quantitative business has the advantages of dynamic real-time, objectiveness, high and low frequency plasticity, immune subjective judgment of emotions, psychological fluctuations, etc., and has achieved rapid development in recent years.
  • the high-frequency quantitative business has received special attention and development due to its advantages such as intra-day settlement, high-frequency and high-yield backtest performance.
  • Backtesting means that the quantitative business platform performs business processing on the designed process-based business strategy to simulate historical real asset trends, and obtain the result data after the historical real scenario is reproduced to evaluate the performance of the strategy.
  • the technical problem to be solved by the embodiments of this application is to provide a data compression method, device, equipment and storage medium for high-frequency service data, which can effectively compress high-frequency service data and reduce the storage space required for high-frequency service data. .
  • an embodiment of the present application provides a data compression method for high-frequency service data, which adopts the following technical solutions:
  • a data compression method for high-frequency service data including: monitoring the high-frequency data exchange process in the current exchange period, acquiring target high-frequency service data that needs to be sent to the target user in the exchange process; judging the target high-frequency service Whether the data is the connection data in the current exchange period; wherein, the connection data represents the target high-frequency service data after the initial data in the current exchange period, and the initial data represents the first data in the current exchange period.
  • a piece of target high-frequency service data if the target high-frequency service data is connection data, analyze the data structure of the connection data, identify the field to be converted in the connection data, and further extract the data from the field to be converted Identify the ordinary conversion field and the difference conversion field; compress the parameter values of the ordinary conversion field through effective value interception, and convert and compress the parameter values of the difference conversion field through numerical difference calculation, thereby generating a compressed target High-frequency business data.
  • a data compression device for high-frequency service data includes: a data acquisition module, To monitor the high-frequency data exchange process in the current exchange period, to obtain the target information data that needs to be sent to the target user in the exchange process; the data type judgment module is used to judge that the target information data is in the current exchange period Initial data or connection data; the initial data represents the first piece of target information data in the current exchange period, and the connection data represents the target information data located after the initial data in the current exchange period; field identification module , Used to analyze the data structure of the connection data after confirming that the target information data is the connection data, identify the field to be converted in the connection data, and further identify the common conversion field from the field to be converted And a difference conversion field; a data compression module for compressing the parameter value of the ordinary conversion field through effective value interception, and converting and compressing the parameter value of the difference conversion field through numerical difference calculation, thereby
  • the data compression device for high-frequency service data described in the embodiment of this application intercepts part of the high-frequency service data, discards the useless data, and uses the idea of differential calculation to convert another part of the data that meets the conversion requirements. Convert and compress the value of, thereby achieving a high degree of compression of high-frequency service data, greatly reducing the storage space of high-frequency service data and bandwidth requirements during data transmission, greatly reducing server pressure, saving server resources and improving Transmission efficiency.
  • the embodiments of the present application also provide a computer device, which adopts the following technical solutions:
  • a computer device includes a memory, a processor, and computer-readable instructions stored in the memory and capable of running on the processor.
  • the processor executes the computer-readable instructions, the above-mentioned high The steps of a data compression method for frequency service data.
  • the embodiments of the present application also provide one or more non-volatile readable storage media storing computer readable instructions, and the following technical solutions are adopted:
  • One or more non-volatile readable storage media storing computer readable instructions that, when executed by a processor, implement the steps of the above-mentioned data compression method for high-frequency service data.
  • FIG. 1 is an exemplary system architecture diagram to which the embodiments of this application can be applied;
  • FIG. 2 is a flowchart of an embodiment of a data compression method for high-frequency service data in an embodiment of the application
  • FIG. 3 is a schematic structural diagram of an embodiment of a data compression device for high-frequency service data in an embodiment of this application;
  • Fig. 4 is a schematic structural diagram of an embodiment of a computer device in an embodiment of the application.
  • the system architecture 100 may include terminal devices 101, 102, 103, a network 104, and a server 105.
  • the network 104 is used to provide a medium for communication links between the terminal devices 101, 102, 103 and the server 105.
  • the network 104 may include various connection types, such as wired, wireless communication links, or fiber optic cables, and so on.
  • the user can use the terminal devices 101, 102, and 103 to interact with the server 105 through the network 104 to receive or send messages and so on.
  • Various communication client applications such as web browser applications, shopping applications, search applications, instant messaging tools, email clients, and social platform software, may be installed on the terminal devices 101, 102, and 103.
  • the terminal devices 101, 102, 103 may be various electronic devices with display screens and support for web browsing, including but not limited to smart phones, tablet computers, e-book readers, MP3 players (Moving Picture Experts Group Audio Layer III, dynamic Video experts compress standard audio layer 3), MP4 (Moving Picture Experts Group Audio Layer IV, dynamic image experts compress standard audio layer 4) players, laptop portable computers and desktop computers, etc.
  • MP3 players Moving Picture Experts Group Audio Layer III, dynamic Video experts compress standard audio layer 3
  • MP4 Moving Picture Experts Group Audio Layer IV, dynamic image experts compress standard audio layer 4
  • laptop portable computers and desktop computers etc.
  • the server 105 may be a server that provides various services, for example, a background server that provides support for pages displayed on the terminal devices 101, 102, and 103.
  • the data compression method for high-frequency service data provided in the embodiments of the present application is generally executed by a server/terminal device. Accordingly, the data compression device for high-frequency service data is generally set in the server/terminal device.
  • terminal devices, networks, and servers in FIG. 1 are merely illustrative. According to implementation needs, there can be any number of terminal devices, networks, and servers.
  • the data compression method for high-frequency service data includes the following steps:
  • Step 201 Monitor the high-frequency data exchange process in the current exchange period, and obtain target high-frequency service data that needs to be sent to the target user in the exchange process.
  • High-frequency service data exchange and strategy back-testing systems have extremely high requirements for data source sampling rate and data quality due to their own characteristics, and most of them require tick-level original data storage.
  • the target high-quality business data sent to the target user generally refers to tick-level original data.
  • Tick data is a kind of data that contains the details of the exchange during data exchange.
  • the server intercepts a snapshot data every n seconds and sends it to the target user as tick data.
  • the value of n in high-frequency data exchange is 0.5, that is, the server sends tick-level target high-frequency service data to each target user twice per second, and tick-level target high-frequency service data is stored when That is, it is stored in the database of the server in the structure of the snapshot data.
  • the server since the amount of data exchange generated during the period is very large, the server generally presets an exchange period, and the exchange period is used as a unit to count the exchange data during the period.
  • the exchange period is generally set to one day.
  • the electronic device for example, the server/terminal device shown in FIG. 1 on which the data compression method of high-frequency service data runs can receive and send to the target through a wired connection or a wireless connection.
  • a wired connection or a wireless connection User's target high-frequency business data.
  • the above-mentioned wireless connection methods can include, but are not limited to, 3G/4G connection, WiFi (Wireless-Fidelity) connection, Bluetooth connection, WiMAX (Worldwide Interoperability for Microwave Access) connection, Zigbee (low-power local area network protocol, also known as Zifeng protocol) connection, UWB (ultra wideband) connection, and other wireless connection methods that are currently known or developed in the future.
  • Step 202 Determine whether the target high-frequency service data is the connection data in the current exchange period; wherein, the connection data represents the target high-frequency service data after the initial data in the current exchange period, and the initial The data represents the first target high-frequency service data in the current exchange period.
  • a compression method used when compressing the target high-frequency service data in this application is based on the idea of differential calculation.
  • the target high-frequency service data in the current exchange period is compressed by differential calculation, specifically, the first target high-frequency service data in the current exchange period and other target high-frequency service data are differentially calculated.
  • the result replaces the parameter values of the fields in the other target high-frequency service data, and the length of the parameter values based on the difference calculation will be greatly reduced compared to the length of the original other target high-frequency service data.
  • first set the first target high-frequency service data in the current exchange period as initial data record other target high-frequency service data in the current exchange period as connection data, and determine that the target high-frequency service data is the initial data. After the data or the data is connected, proceed to the next steps.
  • the initial data is saved in the database and sent to the target user, it is completely saved and sent in the original snapshot data format.
  • the step 202 includes:
  • the parameter value is a preset first parameter judgment value, determining that the target high-frequency service data is initial data
  • the parameter value is a preset second parameter judgment value, it is determined that the target high-frequency service data is connection data.
  • a parameter used to represent the data state type can be selected in advance from the parameters under the data structure of the target high-frequency service data, and each parameter under this parameter.
  • the different data state types represented by specific parameter values are marked with the data state type to which they belong by setting the specific parameter value under the parameter.
  • the specific field of order_type can be set to indicate the data state type represented by the target high-frequency service data.
  • the order_type field takes 2 bits
  • the specific numerical value of the bit indicates different data state types.
  • the value of the highest 2 bits can be set to be 11 to represent initial data, and to 00 to represent continuous data.
  • the data state type of the target high-frequency service data can be identified, and it can be judged whether it is initial data or continuous data.
  • Step 203 If the target high-frequency service data is connection data, analyze the data structure of the connection data, identify the field to be converted in the connection data, and further identify the common conversion field from the field to be converted And the difference conversion field.
  • the target high-frequency service data is the initial data in the current exchange period, it will be completely saved and sent in the original snapshot data format, and its data size will not be compressed. Therefore, the method described in this application is Subsequent implementation steps are only further executed when the target high-frequency service data is continuous data.
  • the target high-frequency service data when dividing the field types under the target high-frequency service data, firstly, some fields are divided into fields that do not need to be compressed, and the other part is the fields that need to be compressed and needs to be compressed.
  • the processed field is the field to be converted.
  • different compression methods are required for some different fields of the same target high-frequency service data. Therefore, after determining that the target high-frequency service is continuous data, and further identifying the fields to be converted that need to be compressed, it is also necessary to distinguish the data to be converted. Convert the type of field to implement different compression methods.
  • the fields that need to be compressed by differential calculation are regarded as differential conversion fields, and fields other than the differential conversion fields can be regarded as ordinary conversion fields.
  • the target user will judge in advance based on the snapshot data format of the target high-frequency business data, and set which fields in the snapshot data format are the fields that need to be converted according to their user needs, and which fields under the fields that need to be converted are ordinary conversion fields Which are the differential conversion fields.
  • the target user can configure a conversion instruction that includes its conversion requirements, and when the field to be converted is identified and the ordinary conversion field and the differential conversion field are identified from the field to be converted, by receiving the conversion instruction, And by analyzing the conversion requirements of the target user in the conversion instruction, it is possible to confirm which fields in the connection data belong to the field to be converted, and which belong to the ordinary conversion field and the differential conversion field under the field to be converted.
  • the data compression method for high-frequency service data further includes:
  • the non-sensitive field is deleted from the connection data.
  • the remaining fields in the data structure of the continuous data are regarded as fields that do not need to be compressed.
  • the fields that do not need to be compressed there are some fields that are not interested or needless by the target user. Since the target user is not sensitive to these data, it is meaningless to send to the target user.
  • the non-sensitive field represents The data is deleted from the continuous data, which can effectively compress the data and reduce the data size.
  • Step 204 Compress the parameter value of the ordinary conversion field through effective value interception, and perform conversion compression on the parameter value of the difference conversion field through numerical difference calculation, thereby generating compressed target high-frequency service data.
  • the data type of each field in the snapshot data structure is a double-precision floating point type, that is, the length is 8 bytes (64 bits).
  • the parameter values under each field represent unsigned plastic data, generally 2 bytes can fully meet the current needs, and if it needs to represent signed plastic data, Then the corresponding data can be represented by a length of 3 bytes.
  • the value size of the ordinary conversion field in the to-be-converted field of the connection data does not need to be represented by all 64 bits of the parameter value. Therefore, for the ordinary conversion field, by intercepting the effective value in its bits, By removing the invalid bit represented by 0, the parameter value of the ordinary conversion field can be effectively compressed.
  • the difference conversion field in the field to be converted in the connection data generally does not need to use all 64 bits of the parameter value.
  • the difference is calculated by the parameter value of the same field in the initial data.
  • the relative value replacing the original parameter value of the difference conversion field with the relative value, can effectively reduce the length of the difference conversion field.
  • the specific operation mode of effective value interception and difference calculation can be preset in the compression rule.
  • the target high-frequency service data can be compressed based on the compression rule. .
  • the order_type field can be divided into the ordinary conversion field in step 203, and when the field is compressed in step 204, you can simply intercept it.
  • the most significant 2-bit value, and the length of the order_type field after such compression is 1 byte.
  • the order_type field can be moved to make it the target high-frequency service data. The first field of business data.
  • the step of compressing the parameter value of the common conversion field through effective value interception in step 204 includes:
  • the low-order 16-bit data or 24-bit data in the parameter value of each ordinary conversion field is intercepted, and used as the parameter value of the corresponding ordinary conversion field in the compressed target information data.
  • the value of the upper 48 bits in the 2 bytes (64 bits) is 0, the above invalid data is truncated, and the lower 16 bits are retained.
  • the value under the bit position is used as the parameter value of the ordinary conversion field, so that the data length of the ordinary conversion field can be effectively compressed without affecting the normal use of the data.
  • the data compression method of the high-frequency service data before the step of converting and compressing the parameter values of the difference conversion field by numerical difference calculation in step 204, the data compression method of the high-frequency service data further includes:
  • the step of identifying the parameter value type of each field in the difference conversion field, and dividing the difference conversion field into an asset value difference field and a time difference field includes:
  • the difference conversion field corresponding to the parameter value is divided into an asset value difference field.
  • the parameter value under each field in the Tick data is a parameter value that represents time, in the process of high-frequency data exchange, its change mode will continue to increase, but the parameter value that represents the asset value will be in one Continuous and irregular fluctuations between the upper limit of the value and the lower limit of the value. Therefore, in this way, the type of the differential conversion field can be judged more effectively, especially when the amount of reference data is large, the accuracy of the judgment will be very high.
  • the step of converting and compressing the parameter value of the difference conversion field through numerical difference calculation includes:
  • the fluctuation of the asset value has a minimum calculation fluctuation unit, and the fluctuation of the asset value is carried out by an integer multiple of this unit.
  • the preset minimum fluctuation asset value is used to indicate when the asset value fluctuates.
  • the asset value has a daily limit of ups and downs, so the fluctuation range of the asset value in the limited exchange period is a limited discrete asset value range. This interval or this fluctuating range is relatively small, and the parameter value of the differential conversion field in the target high-frequency service data is an 8-byte double-precision floating-point type to represent the asset value data.
  • the server intercepts a snapshot data every n seconds as tick data and sends it to the target user.
  • the high-frequency interval time mentioned in this application refers to the data represented by the n seconds.
  • the interval between sending to the target user, generally speaking, the value of n in the high-frequency service data exchange is 0.5.
  • the continuous data is differentiated from the initial data, and the difference between the parameter value of the time difference field and the parameter value of the same time difference field in the initial data is calculated, and a relative time is obtained and then the relative time is divided by the high frequency Interval time, the final time offset is obtained as the parameter value under the corresponding time difference field under the connection data, so as to compress the connection data.
  • the parameter value under the price difference field in the continuous data before compression can be easily inferred, so there is no need to use the length of 8 bytes to store the relevant time data. Greatly reduce the data length and save storage space.
  • the length of the compressed asset value difference field and the time difference field are both 2 bytes, and the maximum data volume corresponding to 2 bytes in decimal is 65536.
  • the maximum data volume corresponding to 2 bytes in decimal is 65536.
  • the amount of data can be compressed from 120 bytes of a tick data to 14 bytes, which is approximately
  • the data volume can be compressed from 120 bytes of one tick data to 11 bytes, and the compression degree is about 10.9 times.
  • the data compression method of high-frequency service data described in the embodiment of this application intercepts part of the data in the high-frequency service data, discards the useless data, and uses the idea of differential calculation to convert the other part of the data that meets the conversion requirements. Convert and compress the value of, thereby achieving a high degree of compression of high-frequency service data, greatly reducing the storage space of high-frequency service data and bandwidth requirements during data transmission, greatly reducing server pressure, saving server resources and improving Transmission efficiency.
  • the computer-readable instructions may be stored in one or more non-volatile memory.
  • a readable storage medium when the computer-readable instructions are executed, they may include the processes of the above-mentioned method embodiments.
  • the aforementioned storage medium may be a non-volatile storage medium such as a magnetic disk, an optical disc, a read-only memory (Read-Only Memory, ROM), or a random access memory (Random Access Memory, RAM), etc.
  • FIG. 3 shows a schematic structural diagram of an embodiment of a data compression device for high-frequency service data described in an embodiment of this application.
  • this application provides an embodiment of a data compression device for high-frequency service data.
  • the device embodiment corresponds to the method embodiment shown in FIG. Used in various electronic devices.
  • the data compression device for high-frequency service data in this embodiment includes:
  • Data acquisition module 301 used to monitor the high-frequency data exchange process in the current exchange cycle, and obtain the target information data that needs to be sent to the target user in the exchange process.
  • Data type judgment module 302 used to judge that the target information data is the initial data or connection data in the current exchange period; the initial data represents the first piece of target information data in the current exchange period, and the connection Data represents target information data located after the initial data in the current exchange period.
  • Field identification module 303 used to analyze the data structure of the connection data after confirming that the target information data is the connection data, identify the field to be converted in the connection data, and further identify the field to be converted
  • the general conversion field and the difference conversion field are output.
  • Data compression module 304 used to compress the parameter values of the ordinary conversion field through effective value interception, and convert and compress the parameter values of the difference conversion field through numerical difference calculation, thereby generating compressed target information data.
  • the data type judgment module 202 is used to identify a field in the target high-frequency service data that is used to indicate the data status type, and detect the parameter value under the field; if the parameter value is a predetermined value Set the first parameter judgment value to determine that the target high-frequency service data is initial data; if the parameter value is a preset second parameter judgment value, it is determined that the target high-frequency service data is connection data.
  • the data compression device for high-frequency service data further includes: a non-sensitive field identification module.
  • the non-sensitive field identification module is used to identify other fields of the connection data except the field to be converted to identify Remove the non-sensitive field; delete the non-sensitive field from the connection data.
  • the data compression module 204 includes: an interception compression sub-module.
  • the intercepting and compressing submodule is used to intercept low-order 16-bit data or 24-bit data in the parameter value of each ordinary conversion field to use as the parameter value of the corresponding ordinary conversion field in the compressed target information data.
  • the data compression module 204 includes: a differential field classification sub-module. Before the data compression module 204 converts and compresses the parameter value of the difference conversion field through numerical difference calculation, the difference field classification sub-module is used to identify the parameter value type of each field in the difference conversion field, and compare all The difference conversion field is divided into an asset value difference field and a time difference field.
  • the differential field classification sub-module is used to obtain a plurality of consecutive historical target information data in a historical exchange period; and count the corresponding differential conversion fields in the plurality of historical target information data
  • the parameter value of each field in the field identifies the change trend of the parameter value; if the change trend of the parameter value is an incremental change, the difference conversion field corresponding to the parameter value is divided into a time difference field; if the parameter value is The change trend is a volatility change, and the difference conversion field corresponding to the parameter value is divided into an asset value difference field.
  • the data compression module 204 further includes: a differential conversion sub-module.
  • the difference conversion sub-module is used to read the minimum change asset value and the high-frequency interval time; calculate the difference between the parameter value of each same asset value difference field between the connection data and the initial data, and each The difference value corresponding to the asset value difference field divided by the minimum variable asset value is used as the parameter value of the asset value difference field corresponding to the compressed connection data; each identical time between the connection data and the initial data is calculated The difference value of the parameter value in the difference field is divided by the difference value corresponding to each time difference field by the high-frequency interval time as the parameter value of the time difference field corresponding to the compressed connection data.
  • the data compression device for high-frequency service data described in the embodiment of this application intercepts part of the high-frequency service data, discards the useless data, and uses the idea of differential calculation to convert another part of the data that meets the conversion requirements. Convert and compress the value of, thereby achieving a high degree of compression of high-frequency service data, greatly reducing the storage space of high-frequency service data and bandwidth requirements during data transmission, greatly reducing server pressure, saving server resources and improving Transmission efficiency.
  • FIG. 4 is a block diagram of the basic structure of the computer device in this embodiment.
  • the computer device 6 includes a memory 61, a processor 62, and a network interface 63 that are mutually communicatively connected via a system bus. It should be pointed out that the figure only shows the computer device 6 with components 61-63, but it should be understood that it is not required to implement all of the illustrated components, and more or fewer components may be implemented instead. Among them, those skilled in the art can understand that the computer device here is a device that can automatically perform numerical calculation and/or information processing in accordance with pre-set or stored instructions.
  • Its hardware includes, but is not limited to, a microprocessor, a dedicated Integrated Circuit (Application Specific Integrated Circuit, ASIC), Programmable Gate Array (Field-Programmable Gate Array, FPGA), Digital Processor (Digital Signal Processor, DSP), embedded equipment, etc.
  • ASIC Application Specific Integrated Circuit
  • ASIC Application Specific Integrated Circuit
  • FPGA Field-Programmable Gate Array
  • DSP Digital Processor
  • the computer device may be a computing device such as a desktop computer, a notebook, a palmtop computer, and a cloud server.
  • the computer device can interact with the user through a keyboard, a mouse, a remote control, a touch panel, or a voice control device.
  • the memory 61 includes at least one type of readable storage medium, and the readable storage medium includes flash memory, hard disk, multimedia card, card-type memory (for example, SD or DX memory, etc.), random access memory (RAM), static memory Random access memory (SRAM), read only memory (ROM), electrically erasable programmable read only memory (EEPROM), programmable read only memory (PROM), magnetic memory, magnetic disks, optical disks, etc.
  • the memory 61 may be an internal storage unit of the computer device 6, such as a hard disk or a memory of the computer device 6.
  • the memory 61 may also be an external storage device of the computer device 6, for example, a plug-in hard disk, a smart media card (SMC), and a secure digital device equipped on the computer device 6. (Secure Digital, SD) card, Flash Card, etc.
  • the memory 61 may also include both the internal storage unit of the computer device 6 and its external storage device.
  • the memory 61 is generally used to store an operating system and various application software installed in the computer device 6, for example, computer readable instructions of a data compression method for high-frequency service data.
  • the memory 61 can also be used to temporarily store various types of data that have been output or will be output.
  • the processor 62 may be a central processing unit (Central Processing Unit, CPU), a controller, a microcontroller, a microprocessor, or other data processing chips in some embodiments.
  • the processor 62 is generally used to control the overall operation of the computer device 6.
  • the processor 62 is configured to run computer-readable instructions or process data stored in the memory 61, for example, computer-readable instructions for running the data compression method of high-frequency service data.
  • the network interface 63 may include a wireless network interface or a wired network interface, and the network interface 63 is generally used to establish a communication connection between the computer device 6 and other electronic devices.
  • This application also provides another implementation manner, that is, to provide a computer-readable storage medium that stores a data compression process of high-frequency service data, and the data compression process of high-frequency service data can be Is executed by at least one processor, so that the at least one processor executes the steps of the above-mentioned data compression method for high-frequency service data.
  • the technical solution of this application essentially or the part that contributes to the existing technology can be embodied in the form of a software product, and the computer software product is stored in a storage medium (such as ROM/RAM, magnetic disk, The optical disc) includes several instructions to enable a terminal device (which can be a mobile phone, a computer, a server, an air conditioner, or a network device, etc.) to execute the method described in each embodiment of the present application.
  • a terminal device which can be a mobile phone, a computer, a server, an air conditioner, or a network device, etc.
  • the disclosed device and method may be implemented in other ways.
  • the device embodiments described above are merely illustrative.
  • the division of the modules is only a logical function division, and there may be other divisions in actual implementation, for example, multiple modules or components may be combined. Or it can be integrated into another system, or some features can be ignored or not implemented.
  • the modules or components may or may not be physically separated, and the components displayed as modules or components may or may not be physical modules, and may be located in one place or distributed on multiple network units. Some or all of the modules or components may be selected according to actual needs to achieve the objectives of the solutions of the embodiments.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

一种高频业务数据的数据压缩方法、装置、设备及存储介质，涉及大数据处理技术领域。该方法包括：获取目标高频业务数据(201)；判断目标高频业务数据是否为接续数据(202)；若为接续数据，识别出接续数据中的普通转换字段和差分转换字段(203)；对普通转换字段的参数值通过有效值截取进行压缩，对差分转换字段的参数值通过数值差分计算进行转换压缩，生成压缩后的目标高频业务数据(204)。所述方法对高频业务数据中的一部分数据进行截取，摒弃其中无用的数据，并通过应用差分计算的思想，将另一部分符合转换要求的数据的数值进行转换压缩，大幅减小了数据的存储空间和传输时的带宽要求，使服务器压力大幅降低，节省了服务器资源并提升了传输效率。

Description

高频业务数据的数据压缩方法、装置、设备及存储介质
本申请以2019年9月25日提交的申请号为201910908638.8，名称为“高频业务数据的数据压缩方法、装置、设备及存储介质”的中国发明专利申请为基础，并要求其优先权。
技术领域
本申请涉及大数据处理技术领域，特别是一种高频业务数据的数据压缩方法、装置、设备及存储介质。
背景技术
量化业务在处理时以先进的数学模型替代人为的主观判断，利用计算机技术从庞大的历史数据中海选能带来超额收益的多种“大概率”事件以制定策略，极大地减少了参与者情绪波动的影响，避免在市场极度狂热或悲观的情况下作出非理性的业务决策。高频业务则涉及人们无法利用的极为短暂的市场变化中寻求获利的计算机化业务。
量化业务具有动态实时、客观、高低频可塑、免疫人主观判断情绪、心理波动等优点，近年来获得了快速发展。特别是高频量化业务由于其具有日内清算、频率高收益回测性能稳健等优点得到特别关注和发展。这里回测是指量化业务平台对设计好的流程化业务策略模拟历史真实的资产走势情况进行业务处理，得到历史真实情景再现后的结果数据以对策略的性能进行评估。
发明人意识到，由于高频业务数据交换的频率非常高，且策略回测时的样本数据十分庞大，存储数据时所需的存储空间较大，使得数据库压力大，硬件成本较高。
发明内容
本申请实施例所要解决的技术问题是，提供一种高频业务数据的数据压缩方法、装置、设备及存储介质，对高频业务数据进行有效压缩，减小高频业务数据所需的存储空间。
为了解决上述技术问题，本申请实施例提供一种高频业务数据的数据压缩方法，采用了如下所述的技术方案：
一种高频业务数据的数据压缩方法，包括：监控当前交换周期内的高频数据交换进程，获取所述交换进程中需发送给目标用户的目标高频业务数据；判断所述目标高频业务数据是否为所述当前交换周期内的接续数据；其中，所述接续数据表示所述当前交换周期内位于初始数据之后的目标高频业务数据，所述初始数据表示所述当前交换周期内的第一条目标高频业务数据；若所述目标高频业务数据为接续数据，解析所述接续数据的数据结构，识别出所述接续数据中的待转换字段，并进一步从所述待转换字段中识别出普通转换字段和差分转换字段；对所述普通转换字段的参数值通过有效值截取进行压缩，并对所述差分转换字段的参数值通过数值差分计算进行转换压缩，从而生成压缩后的目标高频业务数据。
为了解决上述技术问题，本申请实施例还提供一种高频业务数据的数据压缩装置，采用了如下所述的技术方案：一种高频业务数据的数据压缩装置，包括：数据获取模块，用于监控当前交换周期内的高频数据交换进程，获取所述交换进程中需发送给目标用户的目标信息 数据；数据类型判断模块，用于判断所述目标信息数据为所述当前交换周期内的初始数据或接续数据；所述初始数据表示所述当前交换周期内的第一条目标信息数据，所述接续数据表示所述当前交换周期内位于所述初始数据之后的目标信息数据；字段识别模块，用于当确认所述目标信息数据为接续数据后，解析所述接续数据的数据结构，识别出所述接续数据中的待转换字段，并进一步从所述待转换字段中识别出普通转换字段和差分转换字段；数据压缩模块，用于对所述普通转换字段的参数值通过有效值截取进行压缩，并对所述差分转换字段的参数值通过数值差分计算进行转换压缩，从而生成压缩后的目标信息数据。
本申请实施例所述的高频业务数据的数据压缩装置，对高频业务数据中的一部分数据进行截取，摒弃其中无用的数据，并通过应用差分计算的思想，将另一部分符合转换要求的数据的数值进行转换压缩，从而实现了对高频业务数据的高度压缩，大幅减小了高频业务数据的存储空间和数据传输时的带宽要求，使服务器压力大幅降低，节省了服务器资源并提升了传输效率。
为了解决上述技术问题，本申请实施例还提供一种计算机设备，采用了如下所述的技术方案：
一种计算机设备，包括存储器、处理器，以及存储在所述存储器中并可在所述处理器上运行的计算机可读指令，所述处理器执行所述计算机可读指令时，实现如上述高频业务数据的数据压缩方法的步骤。
为了解决上述技术问题，本申请实施例还提供一个或多个存储有计算机可读指令的非易失性可读存储介质，采用了如下所述的技术方案：
一个或多个存储有计算机可读指令的非易失性可读存储介质，所述计算机可读指令被处理器执行时实现如上述高频业务数据的数据压缩方法的步骤。
本申请的一个或多个实施例的细节在下面的附图和描述中提出，本申请的其他特征和优点将从说明书、附图以及权利要求变得明显。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例可以应用于其中的示例性系统架构图；
图2为本申请实施例中所述高频业务数据的数据压缩方法的一个实施例的流程图；
图3为本申请实施例中所述高频业务数据的数据压缩装置的一个实施例的结构示意图；
图4为本申请实施例中计算机设备的一个实施例的结构示意图。
具体实施方式
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中在本申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本申请。
需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“包括”、“包含”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。在本申请的权利要求书、说明书以及说明书附图中的术语，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体/操作/对象与另一个实体/操作/对象区分开来，而不一定要求或者暗示这些实体/操作/对象之间存在任何这种实际的关系或者顺序。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其他实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其他实施例相结合。
为了使本技术领域的人员更好地理解本申请的方案，下面将结合本申请实施例中的相关附图，对本申请实施例中的技术方案进行清楚、完整地描述。
如图1所示，系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用，例如网页浏览器应用、购物类应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等。
终端设备101、102、103可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、电子书阅读器、MP3播放器(Moving Picture Experts Group Audio Layer III，动态影像专家压缩标准音频层面3)、MP4(Moving Picture Experts Group Audio Layer IV，动态影像专家压缩标准音频层面4)播放器、膝上型便携计算机和台式计算机等等。
服务器105可以是提供各种服务的服务器，例如对终端设备101、102、103上显示的页面提供支持的后台服务器。
需要说明的是，本申请实施例所提供的高频业务数据的数据压缩方法一般由服务器/终端设备执行，相应地，高频业务数据的数据压缩装置一般设置于服务器/终端设备中。
应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。
继续参考图2，示出了本申请实施例中所述高频业务数据的数据压缩方法的一个实施例的流程图。所述高频业务数据的数据压缩方法，包括以下步骤：
步骤201：监控当前交换周期内的高频数据交换进程，获取所述交换进程中需发送给目标用户的目标高频业务数据。
高频业务数据交换和策略回测系统由于其自身的特点，对数据源采样率、数据质量有极高要求，大多要求tick级原数据存储。本申请实施例中，发送给目标用户的目标高品业务数据，一般指tick级的原数据。
Tick数据是一种存有数据交换时的交换明细的数据，高频数据交换的过程中，服务器以每隔n秒的时间截取一个快照数据作为tick数据发送给目标用户。一般而言，高频数据交换中n的取值为0.5，即服务器以每秒两次的频率向各目标用户发送tick级的目标高频业务数据，而tick级的目标高频业务数据存储时即以快照数据的结构存储在服务器的数据库中。
高频数据交换时，由于其期间产生的数据交换量十分庞大，因此服务器一般预设一个交换周期，以该交换周期为单位统计该段时间内的交换数据。在本申请实施例中，所述交换周期一般设为一天。
在本申请实施例中，所述高频业务数据的数据压缩方法运行于其上的电子设备(例如图1所示的服务器/终端设备)可以通过有线连接方式或者无线连接方式接收需发送给目标用户的目标高频业务数据。需要指出的是，上述无线连接方式可以包括但不限于3G/4G连接、WiFi(Wireless-Fidelity)连接、蓝牙连接、WiMAX(Worldwide Interoperability for Microwave Access)连接、Zigbee(低功耗局域网协议，又称紫峰协议)连接、UWB(ultra wideband)连接、以及其他现在已知或将来开发的无线连接方式。
步骤202：判断所述目标高频业务数据是否为所述当前交换周期内的接续数据；其中，所述接续数据表示所述当前交换周期内位于初始数据之后的目标高频业务数据，所述初始数据表示所述当前交换周期内的第一条目标高频业务数据。
本申请中压缩所述目标高频业务数据时所采用的一种压缩手段是基于差分计算的思想。在对当前交换周期内的目标高频业务数据通过差分计算进行压缩时，具体是将当前交换周期下的第一条目标高频业务数据与其他目标高频业务数据进行差分计算，用差分计算的结果代替其他目标高频业务数据中字段的参数值，基于差分计算后的参数值的长度相对于原其他目标高频业务数据的长度会大大减小。
于是，首先设定所述当前交换周期内的第一条目标高频业务数据为初始数据，当前交换 周期内的其他目标高频业务数据记为接续数据，判断所述目标高频业务数据为初始数据或是接续数据后，进一步执行后续步骤。其中，初始数据保存在数据库中和发送给目标用户时，是以原始的快照数据格式完整地保存和发送的。
在本申请实施例中，所述步骤202包括：
识别出所述目标高频业务数据中用于表示数据状态类型的字段，检测该字段下的参数值；
若所述参数值为预设的第一参数判断值，确定所述目标高频业务数据为初始数据；
若所述参数值为预设的第二参数判断值，则确定所述目标高频业务数据为接续数据。
为了判断目标高频业务数据的数据状态类型为初始数据或是接续数据，可以预先在目标高频业务数据的数据结构下的参数中选择一个用于表示数据状态类型的参数，规定该参数下各具体参数值分别表示的不同数据状态类型，以通过设定该参数下的具体参数值的方式对其所属的数据状态类型进行标记。
通过举例进一步理解，在目标高频业务数据的快照数据结构下，可以通过设定如以order_type这一具体字段表示该目标高频业务数据代表的数据状态类型，具体地，order_type字段下取2比特位的具体数值表示不同的数据状态类型，如在一种具体实施方式中，可以设定最高位的2比特位的数值为11时表示初始数据，数值为00时表示接续数据。
如此通过识别order_type这一字段下的具体参数值，即可识别所述目标高频业务数据的数据状态类型，判断其为初始数据或是接续数据。
步骤203：若所述目标高频业务数据为接续数据，解析所述接续数据的数据结构，识别出所述接续数据中的待转换字段，并进一步从所述待转换字段中识别出普通转换字段和差分转换字段。
当识别出所述目标高频业务数据为当前交换周期内的初始数据时，会以原始的快照数据格式完整地保存和发送，不会对其数据大小进行压缩，因此本申请中所述方法的后续实施步骤只在目标高频业务数据为接续数据时进一步执行。
在本申请的一些实施例中，对目标高频业务数据下的字段类型进行划分时，首先将部分字段划分为无需进行压缩处理的字段，另一部分便为需要进行压缩处理的字段，需要进行压缩处理的字段即为所述待转换字段。而对同一目标高频业务数据的有些不同字段需要采用不同的压缩手段，因此在确定所述目标高频业务为接续数据，并进一步识别出需要进行压缩处理的待转换字段后，还需要区分待转换字段的类型，以实施不同的压缩手段。
本申请实施例中，将待转换字段中需通过差分计算的方式进行压缩处理的字段视为差分转换字段，除差分转换字段外的字段即可视为普通转换字段。
目标用户会预先基于目标高频业务数据的快照数据格式进行判断，根据其用户需求设定好快照数据格式中的哪些字段为需要进行转换的字段，以及需进行转换的字段下哪些为普通转换字段哪些为差分转换字段。
在一种具体实施方式中，目标用户可以配置一个包含其转换需求的转换指令，在识别待转换字段和从待转换字段中识别出普通转换字段和差分转换字段时，通过接收所述转换指令，并解析出该转换指令中的目标用户的转换需求，便能确认接续数据中的字段哪些属于待转换字段，而哪些又属于待转换字段下的普通转换字段和差分转换字段。
在本申请的一些实施方式中，在步骤203之后，所述高频业务数据的数据压缩方法还包括：
对所述接续数据的除所述待转换字段外的其他字段进行识别，以识别出非敏感字段；
将所述非敏感字段从所述接续数据中删除。
在接续数据的数据结构中的各个字段，除所述待转换字段外，剩下的即视为无需进行压缩处理的字段。而无需进行压缩处理的字段中，存在部分字段为目标用户所不感兴趣或不需要的数据，由于目标用户对这些数据不敏感，因此发送给目标用户并无意义，将所述非敏感字段代表的数据从接续数据中删除，能够有效地压缩数据，减小数据大小。
步骤204：对所述普通转换字段的参数值通过有效值截取进行压缩，并对所述差分转换字段的参数值通过数值差分计算进行转换压缩，从而生成压缩后的目标高频业务数据。
在本申请实施例中，快照数据结构中各个字段的数据类型均为双精度浮点型，即长度为8字节(64位)。但对于当前交换周期内的快照数据，其各字段下的参数值，若表示无符号的整形数据时，一般2字节便完全能够满足当前的需要了，而若需要表示带符号的整形数据，则以3字节的长度表示相应的数据即可。
所述接续数据的待转换字段中的普通转换字段，一般而言，其数值大小无需用到参数值的全部64比特位进行表示，因此对于普通转换字段，通过截取其比特位中的有效数值，去掉其中以0表示的无效比特位，便能对普通转换字段的参数值进行有效压缩。
而所述接续数据的待转换字段中的差分转换字段，一般而言，其数值大小同样无需用到参数值的全部64比特位，通过与初始数据中相同字段的参数值进行差分计算，计算出相对数值，以该相对数值代替差分转换字段的原参数值，可以有效减小差分转换字段的长度。
在本申请实施例的一种具体实施方式中，有效值截取和差分计算的具体操作方式便可以预先设置在压缩规则中，通过调用压缩规则，压缩目标高频业务数据时基于该压缩规则即可。
在一种具体的实施方式中，进一步理解上述步骤中的压缩过程，如order_type字段可以在步骤203中划分至所述普通转换字段，在步骤204中对该字段进行压缩时，可以只需截取 其最高位的2比特位的数值，如此进行压缩后的order_type字段的长度便为1字节。而为了在实施所述高频业务数据的数据压缩方法后，方便目标用户定位至该字段以判断接收到的目标高频业务数据为初始数据或接续数据，可以移动order_type字段将其作为目标高频业务数据的第一个字段。
在本申请的一些实施例中，步骤204中所述对所述普通转换字段的参数值通过有效值截取进行压缩的步骤包括：
截取每个所述普通转换字段的参数值中低位的16比特位数据或24比特位数据，以作为压缩后的目标信息数据中对应的普通转换字段的参数值。
所述普通转换字段下的参数值，用于表示无符号的整形数据时，其2字节(64比特)中高位的48比特位的数值均为0，截掉上述无效数据，保留低位的16比特位下的数值作为普通转换字段的参数值，从而能不影响数据正常使用的同时有效对普通转换字段的数据长度进行压缩。
所述普通转换字段下的参数值，用于表示带符号的整形数据时，最多只需截取低位3字节(即24比特位)的数值作为普通转换字段的参数值，以对普通转换字段进行压缩。
在本申请的一些实施例中，在步骤204中所述对所述差分转换字段的参数值通过数值差分计算进行转换压缩的步骤之前，所述高频业务数据的数据压缩方法还包括：
识别所述差分转换字段中各字段的参数值类型，将所述差分转换字段划分为资产数值差分字段和时间差分字段。
对于差分转换字段参数值的压缩处理，本申请实施例中采用两种基于差分计算的压缩方式，其中一种是对于差分转换字段的参数值表示的数据是资产数值(如价格)时的情况，另一种是差分转换字段的参数值表示的数据是时间时的情况，因此首先需在识别出的差分转换字段中，进一步确认哪些是资产数值差分字段，哪些是时间差分字段。
在进一步的一种具体实施方式中，所述识别所述差分转换字段中各字段的参数值类型，将所述差分转换字段划分为资产数值差分字段和时间差分字段的步骤包括：
获取一个历史交换周期内的连续的若干个历史目标信息数据；
统计所述若干个历史目标信息数据中对应的差分转换字段中各字段的参数值，识别所述参数值的变化趋势；
若所述参数值的变化趋势为递增变化，则将该参数值对应的差分转换字段划分为时间差分字段；
若所述参数值的变化趋势为波动变化，则将该参数值对应的差分转换字段划分为资产数值差分字段。
Tick数据中各字段下的参数值，若是表示时间的参数值，在高频数据交换进程中，其变化的方式会是连续不断趋于递增的，但表示资产数值的参数值，其会在一个数值上限和一个数值下限之间不断无规律的上下波动。因此通过这种方式可以较有效地判断差分转换字段的类型，尤其是参考的数据量较大时，判断的准确率会非常高。
在进一步的一种具体实施方式中，所述对所述差分转换字段的参数值通过数值差分计算进行转换压缩的步骤包括：
读取最小变动资产数值和高频间隔时间；
计算所述接续数据和所述初始数据之间每个相同的资产数值差分字段下参数值的差值，由每个资产数值差分字段对应的差值除以所述最小变动资产数值后作为压缩后的接续数据对应的资产数值差分字段的参数值；
计算所述接续数据和所述初始数据之间每个相同的时间差分字段下参数值的差值，由每个时间差分字段对应的差值除以所述高频间隔时间后作为压缩后的所述接续数据对应的时间差分字段的参数值。
高频业务数据交换中，资产数值波动都有一个最小的计算波动单位，以这个单位的整数倍进行资产数值涨跌波动，本提案中以预设的最小变动资产数值表示所述资产数值波动时的最小的计算波动单位。而高频业务数据交换中资产数值每天有涨跌停的限制，所以有限的所述交换周期内资产数值波动范围是有限的离散的资产数值区间。这个区间或者这个能波动的范围比较小，所述目标高频业务数据中的差分转换字段的参数值是以8字节的双精度浮点型来表示资产数值数据。
通过将接续数据同初始数据进行差分，计算所述资产数值差分字段的参数值与初始数据中相同的资产数值差分字段的参数值的差值，再除以所述最小变动资产数值得到散点数值，以散点数值作为接续数据下对应的资产数值差分字段的参数值，从而对所述接续数据进行压缩。而基于该散点数值和已知的初始数据，能较容易地推断出压缩前的接续数据中资产数值差分字段下的参数值，如此显然无需用到8字节的长度存储相关资产数值数据，能大大减小数据长度，节省存储空间。
前述的内容中，服务器以每隔n秒的时间截取一个快照数据作为tick数据发送给目标用户，对于资产数值差分字段，本申请中所述高频间隔时间即指由该n秒表示的将数据发送给目标用户的间隔时间，一般而言，高频业务数据交换中n的取值为0.5。
同样将接续数据同初始数据进行差分，计算所述时间差分字段的参数值与初始数据中相同的时间差分字段的参数值的差值，得到一个相对时间后以该相对时间除以所述高频间隔时间，得到最终的时间偏移量作为接续数据下对应的时间差分字段下的参数值，从而对所述接 续数据进行压缩。而基于该时间偏移量和已知的初始数据，能较容易地推断出压缩前的接续数据中价格差分字段下的参数值，如此同样无需用到8字节的长度存储相关时间数据，能大大减小数据长度，节省存储空间。
本申请的具体实施方式中，一般压缩后的资产数值差分字段和时间差分字段的长度均为2字节，2字节对应的十进制的最大数据量为65536，根据高频业务数据交换的数据统计经验，2字节表示的数据量已足够满足大部分高频业务数据交换的场景。但对于一些高频业务数据交换场景，资产数值差分字段中的参数值可能超过2字节的最大数据量，此时会以3字节的数据长度表示相应的数据。
基于本申请中的tick数据压缩方法，对上述实施例中将字段长度压缩为3字节的高频业务数据交换场景，数据量可由一个tick数据的120字节压缩到了14字节，压缩程度约为8.5倍；而对于上述实施例中将字段长度压缩为2字节的高频业务数据交换场景，数据量可由一个tick数据的120字节压缩到了11字节，压缩程度约为10.9倍。
本申请实施例所述的高频业务数据的数据压缩方法，对高频业务数据中的一部分数据进行截取，摒弃其中无用的数据，并通过应用差分计算的思想，将另一部分符合转换要求的数据的数值进行转换压缩，从而实现了对高频业务数据的高度压缩，大幅减小了高频业务数据的存储空间和数据传输时的带宽要求，使服务器压力大幅降低，节省了服务器资源并提升了传输效率。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机可读指令来指令相关的硬件来完成，该计算机可读指令可存储于一个或多个非易失性可读取存储介质中，该计算机可读指令在被执行时，可包括如上述各方法的实施例的流程。其中，前述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)等非易失性存储介质，或随机存储记忆体(Random Access Memory，RAM)等。
应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
进一步参考图3，图3示出了为本申请实施例中所述高频业务数据的数据压缩装置的一个实施例的结构示意图。作为对上述图2所示方法的实现，本申请提供了一种高频业务数据 的数据压缩装置的一个实施例，该装置实施例与图2所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。
如图3所示，本实施例所述的高频业务数据的数据压缩装置包括：
数据获取模块301；用于监控当前交换周期内的高频数据交换进程，获取所述交换进程中需发送给目标用户的目标信息数据。
数据类型判断模块302；用于判断所述目标信息数据为所述当前交换周期内的初始数据或接续数据；所述初始数据表示所述当前交换周期内的第一条目标信息数据，所述接续数据表示所述当前交换周期内位于所述初始数据之后的目标信息数据。
字段识别模块303；用于当确认所述目标信息数据为接续数据后，解析所述接续数据的数据结构，识别出所述接续数据中的待转换字段，并进一步从所述待转换字段中识别出普通转换字段和差分转换字段。
数据压缩模块304；用于对所述普通转换字段的参数值通过有效值截取进行压缩，并对所述差分转换字段的参数值通过数值差分计算进行转换压缩，从而生成压缩后的目标信息数据。
在本申请实施例中，所述数据类型判断模块202用于识别出所述目标高频业务数据中用于表示数据状态类型的字段，检测该字段下的参数值；若所述参数值为预设的第一参数判断值，确定所述目标高频业务数据为初始数据；若所述参数值为预设的第二参数判断值，则确定所述目标高频业务数据为接续数据。
在本申请的一些实施方式中，所述高频业务数据的数据压缩装置还包括：非敏感字段识别模块。在所述字段识别模块203识别出所述接续数据中的待转换字段之后，所述非敏感字段识别模块用于对所述接续数据的除所述待转换字段外的其他字段进行识别，以识别出非敏感字段；将所述非敏感字段从所述接续数据中删除。
在本申请的一些实施例中，所述数据压缩模块204包括：截取压缩子模块。所述截取压缩子模块用于截取每个所述普通转换字段的参数值中低位的16比特位数据或24比特位数据，以作为压缩后的目标信息数据中对应的普通转换字段的参数值。
在本申请的一些实施例中，所述数据压缩模块204包括：差分字段分类子模块。在所述数据压缩模块204对所述差分转换字段的参数值通过数值差分计算进行转换压缩之前，所述差分字段分类子模块用于识别所述差分转换字段中各字段的参数值类型，将所述差分转换字段划分为资产数值差分字段和时间差分字段。
在进一步的一种具体实施方式中，所述差分字段分类子模块用于获取一个历史交换周期内的连续的若干个历史目标信息数据；统计所述若干个历史目标信息数据中对应的差分转换 字段中各字段的参数值，识别所述参数值的变化趋势；若所述参数值的变化趋势为递增变化，则将该参数值对应的差分转换字段划分为时间差分字段；若所述参数值的变化趋势为波动变化，则将该参数值对应的差分转换字段划分为资产数值差分字段。
在进一步的一种具体实施方式中，所述数据压缩模块204还包括：差分转换子模块。所述差分转换子模块用于读取最小变动资产数值和高频间隔时间；计算所述接续数据和所述初始数据之间每个相同的资产数值差分字段下参数值的差值，由每个资产数值差分字段对应的差值除以所述最小变动资产数值后作为压缩后的接续数据对应的资产数值差分字段的参数值；计算所述接续数据和所述初始数据之间每个相同的时间差分字段下参数值的差值，由每个时间差分字段对应的差值除以所述高频间隔时间后作为压缩后的所述接续数据对应的时间差分字段的参数值。
本申请实施例所述的高频业务数据的数据压缩装置，对高频业务数据中的一部分数据进行截取，摒弃其中无用的数据，并通过应用差分计算的思想，将另一部分符合转换要求的数据的数值进行转换压缩，从而实现了对高频业务数据的高度压缩，大幅减小了高频业务数据的存储空间和数据传输时的带宽要求，使服务器压力大幅降低，节省了服务器资源并提升了传输效率。
为解决上述技术问题，本申请实施例还提供计算机设备。具体请参阅图4，图4为本实施例计算机设备基本结构框图。
所述计算机设备6包括通过系统总线相互通信连接存储器61、处理器62、网络接口63。需要指出的是，图中仅示出了具有组件61-63的计算机设备6，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。其中，本技术领域技术人员可以理解，这里的计算机设备是一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的设备，其硬件包括但不限于微处理器、专用集成电路(Application Specific Integrated Circuit，ASIC)、可编程门阵列(Field－Programmable Gate Array，FPGA)、数字处理器(Digital Signal Processor，DSP)、嵌入式设备等。
所述计算机设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述计算机设备可以与用户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互。
所述存储器61至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中，所述存储器61 可以是所述计算机设备6的内部存储单元，例如该计算机设备6的硬盘或内存。在另一些实施例中，所述存储器61也可以是所述计算机设备6的外部存储设备，例如该计算机设备6上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。当然，所述存储器61还可以既包括所述计算机设备6的内部存储单元也包括其外部存储设备。本实施例中，所述存储器61通常用于存储安装于所述计算机设备6的操作系统和各类应用软件，例如高频业务数据的数据压缩方法的计算机可读指令等。此外，所述存储器61还可以用于暂时地存储已经输出或者将要输出的各类数据。
所述处理器62在一些实施例中可以是中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器62通常用于控制所述计算机设备6的总体操作。本实施例中，所述处理器62用于运行所述存储器61中存储的计算机可读指令或者处理数据，例如运行所述高频业务数据的数据压缩方法的计算机可读指令。
所述网络接口63可包括无线网络接口或有线网络接口，该网络接口63通常用于在所述计算机设备6与其他电子设备之间建立通信连接。
本申请还提供了另一种实施方式，即提供一种计算机可读存储介质，所述计算机可读存储介质存储有高频业务数据的数据压缩流程，所述高频业务数据的数据压缩流程可被至少一个处理器执行，以使所述至少一个处理器执行如上述的高频业务数据的数据压缩方法的步骤。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本申请各个实施例所述的方法。
在本申请所提供的上述实施例中，应该理解到，所揭露的装置和方法，可以通过其他的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如，多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。
所述模块或组件可以是或者也可以不是物理上分开的，作为模块或组件显示的部件可以是或者也可以不是物理模块，既可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块或组件来实现本实施例方案的目的。
本申请不限于上述实施方式，以上所述是本申请的优选实施方式，该实施例仅用于说明本申请而不用于限制本申请的范围，应当指出，对于本技术领域的普通技术人员来说，在不 脱离本申请原理的前提下，其依然可以对前述各具体实施方式所记载的技术方案进行若干改进和修饰，或者对其中部分技术特征进行等效替换。凡是利用本申请说明书及附图内容所做的等效结构，直接或间接运用在其他相关的技术领域，均同理应视为包括在本申请的保护范围之内。
显然，以上所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例，附图中给出了本申请的较佳实施例，但并不限制本申请的专利范围。本申请可以以许多不同的形式来实现，相反地，提供这些实施例的目的是使对本申请的公开内容的理解更加透彻全面。尽管参照前述实施例对本申请进行了详细的说明，对于本领域的技术人员来而言，其依然可以对前述各具体实施方式所记载的技术方案进行修改，或者对其中部分技术特征进行等效替换。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，以及凡是利用本申请说明书及附图内容所做的等效结构，直接或间接运用在其他相关的技术领域，均同理在本申请专利保护范围之内。

Claims (20)

  1. 一种高频业务数据的数据压缩方法，其特征在于，包括：
    监控当前交换周期内的高频数据交换进程，获取所述交换进程中需发送给目标用户的目标高频业务数据；
    判断所述目标高频业务数据是否为所述当前交换周期内的接续数据；其中，所述接续数据表示所述当前交换周期内位于初始数据之后的目标高频业务数据，所述初始数据表示所述当前交换周期内的第一条目标高频业务数据；
    若所述目标高频业务数据为接续数据，解析所述接续数据的数据结构，识别出所述接续数据中的待转换字段，并进一步从所述待转换字段中识别出普通转换字段和差分转换字段；
    对所述普通转换字段的参数值通过有效值截取进行压缩，并对所述差分转换字段的参数值通过数值差分计算进行转换压缩，从而生成压缩后的目标高频业务数据。
  2. 根据权利要求1所述的高频业务数据的数据压缩方法，其特征在于，所述判断所述目标高频业务数据是否为所述当前交换周期内的接续数据的步骤包括：
    识别出所述目标高频业务数据中用于表示数据状态类型的字段，检测该字段下的参数值；
    若所述参数值为预设的第一参数判断值，确定所述目标高频业务数据为初始数据；
    若所述参数值为预设的第二参数判断值，则确定所述目标高频业务数据为接续数据。
  3. 根据权利要求1所述的高频业务数据的数据压缩方法，其特征在于，所述识别出所述接续数据中的待转换字段的步骤之后，所述方法还包括：
    对所述接续数据的除所述待转换字段外的其他字段进行识别，以识别出非敏感字段；
    将所述非敏感字段从所述接续数据中删除。
  4. 根据权利要求1所述的高频业务数据的数据压缩方法，其特征在于，所述对所述普通转换字段的参数值通过有效值截取进行压缩的步骤包括：
    截取每个所述普通转换字段的参数值中低位的16比特位数据或24比特位数据，以作为压缩后的目标信息数据中对应的普通转换字段的参数值。
  5. 根据权利要求1所述的高频业务数据的数据压缩方法，其特征在于，在所述对所述差分转换字段的参数值通过数值差分计算进行转换压缩的步骤之前，所述方法还包括：
    识别所述差分转换字段中各字段的参数值类型，将所述差分转换字段划分为资产数值差分字段和时间差分字段。
  6. 根据权利要求5所述的高频业务数据的数据压缩方法，其特征在于，所述识别所述 差分转换字段中各字段的参数值类型，将所述差分转换字段划分为资产数值差分字段和时间差分字段的步骤包括：
    获取一个历史交换周期内的连续的若干个历史目标信息数据；
    统计所述若干个历史目标信息数据中对应的差分转换字段中各字段的参数值，识别所述参数值的变化趋势；
    若所述参数值的变化趋势为递增变化，则将该参数值对应的差分转换字段划分为时间差分字段；
    若所述参数值的变化趋势为波动变化，则将该参数值对应的差分转换字段划分为资产数值差分字段。
  7. 根据权利要求5所述的高频业务数据的数据压缩方法，其特征在于，所述对所述差分转换字段的参数值通过数值差分计算进行转换压缩的步骤包括：
    读取最小变动资产数值和高频间隔时间；
    计算所述接续数据和所述初始数据之间每个相同的资产数值差分字段下参数值的差值，由每个资产数值差分字段对应的差值除以所述最小变动资产数值后作为压缩后的接续数据对应的资产数值差分字段的参数值；
    计算所述接续数据和所述初始数据之间每个相同的时间差分字段下参数值的差值，由每个时间差分字段对应的差值除以所述高频间隔时间后作为压缩后的所述接续数据对应的时间差分字段的参数值。
  8. 一种高频业务数据的数据压缩装置，其特征在于，包括：
    数据获取模块，用于监控当前交换周期内的高频数据交换进程，获取所述交换进程中需发送给目标用户的目标信息数据；
    数据类型判断模块，用于判断所述目标信息数据为所述当前交换周期内的初始数据或接续数据；所述初始数据表示所述当前交换周期内的第一条目标信息数据，所述接续数据表示所述当前交换周期内位于所述初始数据之后的目标信息数据；
    字段识别模块，用于当确认所述目标信息数据为接续数据后，解析所述接续数据的数据结构，识别出所述接续数据中的待转换字段，并进一步从所述待转换字段中识别出普通转换字段和差分转换字段；
    数据压缩模块，用于对所述普通转换字段的参数值通过有效值截取进行压缩，并对所述差分转换字段的参数值通过数值差分计算进行转换压缩，从而生成压缩后的目标信息数据。
  9. 根据权利要求8所述的高频业务数据的数据压缩装置，其特征在于，所述数据类型判断模块还用于：
    识别出所述目标高频业务数据中用于表示数据状态类型的字段，检测该字段下的参数值；
    若所述参数值为预设的第一参数判断值，确定所述目标高频业务数据为初始数据；
    若所述参数值为预设的第二参数判断值，则确定所述目标高频业务数据为接续数据。
  10. 根据权利要求8所述的高频业务数据的数据压缩装置，其特征在于，所述高频业务数据的数据压缩装置还包括：非敏感字段识别模块；所述字段识别模块识别出所述接续数据中的待转换字段后，所述非敏感字段时别模块用于：
    对所述接续数据的除所述待转换字段外的其他字段进行识别，以识别出非敏感字段；
    将所述非敏感字段从所述接续数据中删除。
  11. 一种计算机设备，包括存储器、处理器，以及存储在所述存储器中并可在所述处理器上运行的计算机计算机可读指令可读指令，其特征在于，所述处理器执行所述计算机可读指令时，实现如下高频业务数据的数据压缩方法的步骤：
    监控当前交换周期内的高频数据交换进程，获取所述交换进程中需发送给目标用户的目标高频业务数据；
    判断所述目标高频业务数据是否为所述当前交换周期内的接续数据；其中，所述接续数据表示所述当前交换周期内位于初始数据之后的目标高频业务数据，所述初始数据表示所述当前交换周期内的第一条目标高频业务数据；
    若所述目标高频业务数据为接续数据，解析所述接续数据的数据结构，识别出所述接续数据中的待转换字段，并进一步从所述待转换字段中识别出普通转换字段和差分转换字段；
    对所述普通转换字段的参数值通过有效值截取进行压缩，并对所述差分转换字段的参数值通过数值差分计算进行转换压缩，从而生成压缩后的目标高频业务数据。
  12. 根据权利要求11所述的计算机设备，其特征在于，所述判断所述目标高频业务数据是否为所述当前交换周期内的接续数据的步骤包括：
    识别出所述目标高频业务数据中用于表示数据状态类型的字段，检测该字段下的参数值；
    若所述参数值为预设的第一参数判断值，确定所述目标高频业务数据为初始数据；
    若所述参数值为预设的第二参数判断值，则确定所述目标高频业务数据为接续数据。
  13. 根据权利要求11所述的计算机设备，其特征在于，所述识别出所述接续数据中的待转换字段的步骤之后，所述方法还包括：
    对所述接续数据的除所述待转换字段外的其他字段进行识别，以识别出非敏感字段；
    将所述非敏感字段从所述接续数据中删除。
  14. 根据权利要求11所述的计算机设备，其特征在于，所述对所述普通转换字段的参数值通过有效值截取进行压缩的步骤包括：
    截取每个所述普通转换字段的参数值中低位的16比特位数据或24比特位数据，以作为压缩后的目标信息数据中对应的普通转换字段的参数值。
  15. 根据权利要求11所述的计算机设备，其特征在于，在所述对所述差分转换字段的参数值通过数值差分计算进行转换压缩的步骤之前，所述方法还包括：
    识别所述差分转换字段中各字段的参数值类型，将所述差分转换字段划分为资产数值差分字段和时间差分字段。
  16. 一个或多个存储有计算机可读指令的非易失性可读存储介质，其特征在于，所述计算机计算机可读指令被处理器执行时实现如下高频业务数据的数据压缩方法的步骤：
    监控当前交换周期内的高频数据交换进程，获取所述交换进程中需发送给目标用户的目标高频业务数据；
    判断所述目标高频业务数据是否为所述当前交换周期内的接续数据；其中，所述接续数据表示所述当前交换周期内位于初始数据之后的目标高频业务数据，所述初始数据表示所述当前交换周期内的第一条目标高频业务数据；
    若所述目标高频业务数据为接续数据，解析所述接续数据的数据结构，识别出所述接续数据中的待转换字段，并进一步从所述待转换字段中识别出普通转换字段和差分转换字段；
    对所述普通转换字段的参数值通过有效值截取进行压缩，并对所述差分转换字段的参数值通过数值差分计算进行转换压缩，从而生成压缩后的目标高频业务数据。
  17. 根据权利要求16所述的非易失性可读存储介质，其特征在于，所述判断所述目标高频业务数据是否为所述当前交换周期内的接续数据的步骤包括：
    识别出所述目标高频业务数据中用于表示数据状态类型的字段，检测该字段下的参数值；
    若所述参数值为预设的第一参数判断值，确定所述目标高频业务数据为初始数据；
    若所述参数值为预设的第二参数判断值，则确定所述目标高频业务数据为接续数据。
  18. 根据权利要求16所述的非易失性可读存储介质，其特征在于，所述识别出所述接续数据中的待转换字段的步骤之后，所述方法还包括：
    对所述接续数据的除所述待转换字段外的其他字段进行识别，以识别出非敏感字段；
    将所述非敏感字段从所述接续数据中删除。
  19. 根据权利要求16所述的非易失性可读存储介质，其特征在于，所述对所述普通转换字段的参数值通过有效值截取进行压缩的步骤包括：
    截取每个所述普通转换字段的参数值中低位的16比特位数据或24比特位数据，以作为压缩后的目标信息数据中对应的普通转换字段的参数值。
  20. 根据权利要求16所述的非易失性可读存储介质，其特征在于，在所述对所述差分转换字段的参数值通过数值差分计算进行转换压缩的步骤之前，所述方法还包括：
    识别所述差分转换字段中各字段的参数值类型，将所述差分转换字段划分为资产数值差分字段和时间差分字段。
PCT/CN2019/117697 2019-09-25 2019-11-12 高频业务数据的数据压缩方法、装置、设备及存储介质 WO2021056737A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201910908638.8 2019-09-25
CN201910908638.8A CN110830437B (zh) 2019-09-25 2019-09-25 高频业务数据的数据压缩方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
WO2021056737A1 true WO2021056737A1 (zh) 2021-04-01

Family

ID=69548226

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2019/117697 WO2021056737A1 (zh) 2019-09-25 2019-11-12 高频业务数据的数据压缩方法、装置、设备及存储介质

Country Status (2)

Country Link
CN (1) CN110830437B (zh)
WO (1) WO2021056737A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114257656A (zh) * 2021-12-22 2022-03-29 深圳锂安技术有限公司 一种电池系统数据的压缩处理方法、装置及电子设备
CN115589436A (zh) * 2022-12-14 2023-01-10 三亚海兰寰宇海洋信息科技有限公司 一种数据处理方法、装置及设备
CN115827555A (zh) * 2022-11-30 2023-03-21 格兰菲智能科技有限公司 数据处理方法、计算机设备、存储介质和乘法器结构
CN115827555B (zh) * 2022-11-30 2024-05-28 格兰菲智能科技有限公司 数据处理方法、计算机设备、存储介质和乘法器结构

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111639072A (zh) * 2020-04-14 2020-09-08 北京中交兴路信息科技有限公司 一种车联网场景下的数据存储方法及系统、可读存储介质
CN111522710B (zh) * 2020-04-16 2021-02-26 星环信息科技(上海)股份有限公司 基于大数据的数据压缩方法、设备及介质
CN111835759B (zh) * 2020-07-10 2023-02-03 广东源泉科技有限公司 一种基于数据压缩的网络流量控制方法
CN111917745B (zh) * 2020-07-16 2022-07-22 上海星秒光电科技有限公司 一种数据压缩方法
CN115145496B (zh) * 2022-09-05 2023-01-06 中国汽车技术研究中心有限公司 一种仿真结果数据处理方法、设备和存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020001315A1 (en) * 2000-03-21 2002-01-03 Tran Hung V. Method and apparatus for compressing IP/UDP/RTP headers in a lossy environment
US9742434B1 (en) * 2016-12-23 2017-08-22 Mediatek Inc. Data compression and de-compression method and data compressor and data de-compressor
CN107295036A (zh) * 2016-03-31 2017-10-24 华为技术有限公司 一种数据发送方法及数据合并设备
CN107749815A (zh) * 2017-09-21 2018-03-02 京信通信系统（中国）有限公司 一种数据传输方法、处理方法及装置
CN109379376A (zh) * 2018-11-30 2019-02-22 成都德辰博睿信息技术有限公司 基于数据压缩的无线电监测设备、系统及数据压缩方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11635908B2 (en) * 2017-06-22 2023-04-25 Adobe Inc. Managing digital assets stored as components and packaged files
CN108874962A (zh) * 2018-06-07 2018-11-23 武汉理工大学 一种金融大数据处理方法
CN109271411B (zh) * 2018-09-28 2023-08-29 中国平安财产保险股份有限公司 报表生成方法、装置、计算机设备及存储介质
CN109783487A (zh) * 2018-12-07 2019-05-21 广州经传多赢投资咨询有限公司 证券数据的存储方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020001315A1 (en) * 2000-03-21 2002-01-03 Tran Hung V. Method and apparatus for compressing IP/UDP/RTP headers in a lossy environment
CN107295036A (zh) * 2016-03-31 2017-10-24 华为技术有限公司 一种数据发送方法及数据合并设备
US9742434B1 (en) * 2016-12-23 2017-08-22 Mediatek Inc. Data compression and de-compression method and data compressor and data de-compressor
CN107749815A (zh) * 2017-09-21 2018-03-02 京信通信系统（中国）有限公司 一种数据传输方法、处理方法及装置
CN109379376A (zh) * 2018-11-30 2019-02-22 成都德辰博睿信息技术有限公司 基于数据压缩的无线电监测设备、系统及数据压缩方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114257656A (zh) * 2021-12-22 2022-03-29 深圳锂安技术有限公司 一种电池系统数据的压缩处理方法、装置及电子设备
CN115827555A (zh) * 2022-11-30 2023-03-21 格兰菲智能科技有限公司 数据处理方法、计算机设备、存储介质和乘法器结构
CN115827555B (zh) * 2022-11-30 2024-05-28 格兰菲智能科技有限公司 数据处理方法、计算机设备、存储介质和乘法器结构
CN115589436A (zh) * 2022-12-14 2023-01-10 三亚海兰寰宇海洋信息科技有限公司 一种数据处理方法、装置及设备

Also Published As

Publication number Publication date
CN110830437B (zh) 2022-06-10
CN110830437A (zh) 2020-02-21

Similar Documents

Publication Publication Date Title
WO2021056737A1 (zh) 高频业务数据的数据压缩方法、装置、设备及存储介质
CA2884450C (en) Aggregation source routing
CN111695675B (zh) 联邦学习模型训练方法及相关设备
CN112148987A (zh) 基于目标对象活跃度的消息推送方法及相关设备
WO2021147559A1 (zh) 业务数据质量检测方法、装置、计算机设备及存储介质
WO2021169631A1 (zh) 欺诈人员识别方法、装置、设备和存储介质
CN107392259B (zh) 构建不均衡样本分类模型的方法和装置
CN110866040A (zh) 用户画像生成方法、装置和系统
CN112182004A (zh) 实时查看数据方法、装置、计算机设备及存储介质
CN113010542B (zh) 业务数据处理方法、装置、计算机设备及存储介质
CN112966756A (zh) 一种可视化的准入规则的生成方法、装置、机器可读介质及设备
CN116795818A (zh) 数据仓库提炼优化方法、装置、设备及其存储介质
CN112035159B (zh) 一种稽核模型的配置方法、装置、设备及存储介质
JP2023547002A (ja) ケイ線パターンの識別方法及び電子機器
CN114021642A (zh) 数据处理方法、装置、电子设备和存储介质
WO2021087662A1 (zh) 内存分配方法、装置、终端及计算机可读存储介质
CN111143328A (zh) 一种敏捷商业智能数据构建方法、系统、设备、存储介质
CN112308172B (zh) 一种识别方法、装置及电子设备
CN116992462A (zh) 基于大数据传输场景的明文信息下线方法及其相关设备
CN110992067B (zh) 消息推送方法、装置、计算机设备及存储介质
CN111046307B (zh) 用于输出信息的方法和装置
CN116611936A (zh) 数据分析方法、装置、计算机设备及存储介质
CN116468491A (zh) 计费规则调整方法、装置、存储介质及电子设备
CN117390230A (zh) 数据存储方法、装置、计算机设备及存储介质
CN110019352B (zh) 用于存储数据的方法和装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19946457

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19946457

Country of ref document: EP

Kind code of ref document: A1