WO2021051589A1 - 数据存储方法、装置、电子设备及存储介质 - Google Patents

数据存储方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
WO2021051589A1
WO2021051589A1 PCT/CN2019/118140 CN2019118140W WO2021051589A1 WO 2021051589 A1 WO2021051589 A1 WO 2021051589A1 CN 2019118140 W CN2019118140 W CN 2019118140W WO 2021051589 A1 WO2021051589 A1 WO 2021051589A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
buried point
point data
target
electronic device
Prior art date
Application number
PCT/CN2019/118140
Other languages
English (en)
French (fr)
Inventor
陈尧章
李雄
Original Assignee
平安科技（深圳）有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 平安科技（深圳）有限公司 filed Critical 平安科技（深圳）有限公司
Publication of WO2021051589A1 publication Critical patent/WO2021051589A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2282—Tablespace storage structures; Management thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1446—Point-in-time backing up or restoration of persistent data
    • G06F11/1448—Management of the data involved in backup or backup restore
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/284—Relational databases
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Definitions

  • This application relates to the field of data processing technology, and in particular to a data storage method, device, electronic equipment, and storage medium.
  • a data storage method includes:
  • the data table is stored in the configuration database.
  • the method further includes:
  • the first data is determined as the buried point data.
  • the method when the buried point data is received, the method further includes:
  • the obtaining the preset type of target buried point data from the message queue includes one or a combination of the following methods:
  • the data is determined to be the target buried point data; and/or
  • the operation type of the mark is determined as the preset type, the second data corresponding to the preset type is acquired, and the second data is determined as the target buried point data.
  • the analyzing the target buried point data to generate a data table includes:
  • At least one server is connected, and the target buried point data is analyzed by the at least one server to generate a data table.
  • the analyzing the target buried point data to generate a data table further includes:
  • the data table is established based on the relationship between the various data in the target buried point data.
  • the method when storing the data table in the configuration database, the method further includes:
  • a data storage device comprising:
  • the writing unit is used to write the embedded point data into the message queue when the embedded point data is received;
  • the acquiring unit is configured to acquire preset types of target buried point data from the message queue;
  • the storage unit is used to store the data table in the configuration database.
  • the acquiring unit is further configured to acquire all data operation types when a login signal is detected;
  • the device also includes:
  • the display unit is used to display all the data operation types
  • the obtaining unit is further configured to obtain first data corresponding to the selected first operation type when a selection signal for any operation type among all the data operation types is received;
  • the determining unit is configured to determine the first data as the buried point data.
  • the device further includes:
  • the calling unit is used to call the configuration interface when the buried point data is received
  • the invoking unit is further configured to connect to the configuration server through the configuration interface;
  • the sending unit is configured to send the buried point data to the configuration server.
  • the acquisition unit acquiring the preset type of target buried point data from the message queue includes one or a combination of the following methods:
  • the data is determined to be the target buried point data; and/or
  • the operation type of the mark is determined as the preset type, the second data corresponding to the preset type is acquired, and the second data is determined as the target buried point data.
  • the generating unit is specifically configured to:
  • At least one server is connected, and the target buried point data is analyzed by the at least one server to generate a data table.
  • the generating unit is specifically further configured to:
  • the data table is established based on the relationship between the various data in the target buried point data.
  • the device further includes:
  • the detecting unit is configured to detect other data to be stored except for the data table when storing the data table in the configuration database;
  • the storage unit is further configured to store the other data to be stored and the data table in the configuration database at the same time when other data to be stored are detected.
  • An electronic device comprising:
  • Memory storing at least one instruction
  • the processor executes the instructions stored in the memory to implement the data storage method.
  • a non-volatile readable storage medium stores at least one instruction, and the at least one instruction is executed by a processor in an electronic device to implement the data storage method.
  • this application can write the buried point data into the message queue when the buried point data is received, so as to realize the temporary storage of the data, avoid affecting the normal operation speed of the system, and obtain information from the message.
  • Obtain preset types of target buried point data in the queue so as to achieve secondary screening of the data, avoid data redundancy, further analyze the target buried point data, generate a data table, and store the data table in Configure the database to achieve asynchronous storage of relational data, avoid system operating pressure, effectively improve system operating performance, and because the relationship between each data in the stored data is clearer, it is convenient for subsequent data use.
  • Fig. 1 is a flowchart of a preferred embodiment of the data storage method of the present application.
  • Fig. 2 is a functional block diagram of a preferred embodiment of the data storage device of the present application.
  • FIG. 3 is a schematic structural diagram of an electronic device implementing a preferred embodiment of the data storage method according to the present application.
  • FIG. 1 it is a flowchart of a preferred embodiment of the data storage method of the present application. According to different needs, the order of the steps in the flowchart can be changed, and some steps can be omitted.
  • the data storage method is applied to one or more electronic devices.
  • the electronic device is a device that can automatically perform numerical calculation and/or information processing in accordance with pre-set or stored instructions. Its hardware includes but is not limited to Microprocessor, Application Specific Integrated Circuit (ASIC), Field-Programmable Gate Array (FPGA), Digital Processor (Digital Signal Processor, DSP), embedded equipment, etc.
  • ASIC Application Specific Integrated Circuit
  • FPGA Field-Programmable Gate Array
  • DSP Digital Processor
  • embedded equipment etc.
  • the electronic device may be any electronic product that can interact with a user with a human machine, for example, a personal computer, a tablet computer, a smart phone, a personal digital assistant (PDA), a game console, an interactive network television ( Internet Protocol Television, IPTV), smart wearable devices, etc.
  • a personal computer for example, a personal computer, a tablet computer, a smart phone, a personal digital assistant (PDA), a game console, an interactive network television ( Internet Protocol Television, IPTV), smart wearable devices, etc.
  • PDA personal digital assistant
  • IPTV Internet Protocol Television
  • smart wearable devices etc.
  • the electronic device may also include a network device and/or user equipment.
  • the network device includes, but is not limited to, a single network server, a server group composed of multiple network servers, or a cloud composed of a large number of hosts or network servers based on cloud computing.
  • the network where the electronic device is located includes, but is not limited to, the Internet, a wide area network, a metropolitan area network, a local area network, a virtual private network (Virtual Private Network, VPN), etc.
  • the buried point refers to related technologies and implementation processes for capturing, processing, and sending specific user behaviors or events. Burying points is for the needs of statistical analysis, burying points for each event of user behavior, and analyzing these data results to further optimize products or guide operations.
  • the buried point data refers to the data generated in the foregoing process.
  • the buried point data is generated for a specified operation behavior, that is, the buried point data corresponds to at least one agreed data operation type.
  • the method further includes:
  • the electronic device When a login signal is detected, the electronic device acquires all data operation types, and further, the electronic device displays all data operation types, and when a selection signal for any operation type among all data operation types is received The electronic device acquires the first data corresponding to the selected first operation type, and further, the electronic device determines the first data as the buried point data.
  • the electronic device determines the data generated by the job forwarding operation as The buried point data.
  • the electronic device When it is detected that there is a job viewing operation on the configuration interface, since the job viewing operation belongs to the selected first operation type, the electronic device will view the jobs generated by the job operation.
  • the data is determined to be the buried point data.
  • the configuration interface may include, but is not limited to: a job search interface, an introductory interface, etc., and this application is not limited.
  • the buried point data can be determined according to actual business requirements, and data redundancy caused by redundant data storage can be avoided.
  • the Message Queue is an important component in a distributed system, and it mainly solves the problems of application decoupling, asynchronous messaging, traffic cutting, etc., and achieves high performance and high availability. , Scalable and eventually consistent architecture.
  • Currently used message queues include, but are not limited to: ActiveMQ, RabbitMQ, ZeroMQ, Kafka, MetaMQ, RocketMQ, etc.
  • the programs can communicate by sending data in messages instead of directly calling each other to communicate. Not only can the temporary storage of the buried point data be realized, but it can also avoid the use of the electronic
  • the storage of the device has an impact on the execution of other data, that is to say, the problem of the operating performance of the electronic device can be effectively solved through the processing method of asynchronous storage.
  • the method when the electronic device receives the buried point data, the method further includes:
  • the electronic device calls a configuration interface, connects to a configuration server through the configuration interface, and sends the buried point data to the configuration server.
  • the configuration interface is used to call the configuration server, and the design of the configuration interface is not limited in this application.
  • the configuration server refers to a server that performs front-end embedding.
  • the electronic device detects that there is an operation of the first operation type on a page, the electronic device acquires the first data corresponding to the first operation type, and the electronic device directly
  • the first data is sent to the configuration server, and the electronic device does not need to participate in the process of data transmission.
  • the first data is original data and has not undergone any data processing. Therefore, what is achieved is to obtain
  • the storage of the original data is a coarse-grained data storage process.
  • the data type of the buried point data is a JSON (JavaScript Object Notation, JS Object Notation) data exchange format.
  • JSON data exchange format is a lightweight data exchange language
  • JSON data exchange format adopts a text format completely independent of programming languages to store and represent data.
  • the electronic device does not need to be used for data storage, which saves the memory of the electronic device, and through the above storage process, full data storage can be realized.
  • the stored data is not easy to analyze, the stored data is not only It can be used as a backup and can also be used for the execution of other operations.
  • the stored data can be made more comprehensive, effectively avoiding data loss, and at the same time, the operating performance of the system will not be affected.
  • the target buried point data refers to data that is determined according to actual needs and that requires data relationship analysis before storage.
  • the target buried point data is the preset type of data stored in the message queue.
  • the preset type may be agreed and marked before data storage according to actual business requirements, or determined by the user, which is not limited by this application.
  • the development position forwarding operation is marked as the preset type of target burying data according to a predetermined agreement.
  • the target buried point data is used as the basic data for data analysis and needs to be further selected and determined from the buried point data.
  • the electronic device acquiring preset types of target buried point data from the message queue includes one or a combination of the following methods:
  • the electronic device displays all the sub-operation types of the first operation type, and when receiving a selection signal for any operation type among all the sub-operation types, acquires the first operation type corresponding to the selected preset type Second data. Further, the electronic device determines the second data as the target buried point data.
  • the electronic device determines the marked operation type as the preset type, acquires second data corresponding to the preset type, and further, the electronic device determines the second data as the target buried Point data.
  • the electronic device further obtains a development position forwarding operation from all sub-operation types of the first operation type as the preset type, and the electronic device acquires the second data generated by the development position forwarding operation Further, the electronic device determines the second data as the target buried point data.
  • the electronic device can further filter the first data corresponding to the first operation type, and then the obtained second data is used as the target buried point data.
  • the data table is a binary data table.
  • column data is fixed, while row data is different.
  • relational data By analyzing the target embedded point data, relational data can be obtained, that is, the data table. Because the data is highly correlated and the relationship between the data is clear, it is convenient to perform data query and data analysis operations. , To make the results of data query and data analysis more accurate, and improve the availability of data.
  • the electronic device parsing the target buried point data to generate a data table includes:
  • the electronic device is connected to at least one server, and the target buried point data is analyzed by the at least one server to generate a data table.
  • the at least one server refers to a server that communicates with the electronic device.
  • multiple servers can perform parallel analysis of the target embedded point data, without occupying the memory of the electronic device, improving the efficiency of data execution, and effectively ensuring that the execution of other data in the electronic device is not executed. Affected.
  • the electronic device can also analyze the target buried point data by itself. As long as the data analysis before storage can be realized, this application not limited.
  • the electronic device parsing the target buried point data, and generating a data table further includes:
  • the electronic device uses FastJson technology or GSON technology to parse the target embedded point data to obtain the relationship between the various data in the target embedded point data. Further, the electronic device is based on the relationship between the various data in the target embedded point data. The relationship of the establishment of the data table.
  • the data table can be generated.
  • the data table is a kind of relational data, represented by a relational mathematical model, and the data is described in the form of a two-dimensional table in the relational mathematical model.
  • the relationship between the various data in the stored data is clarified to facilitate the use of subsequent data.
  • the data table performs fine-grained data storage in the configuration database, which belongs to a back-end buried point data storage process.
  • the electronic device since the storage is asynchronous, the electronic device does not execute the data as soon as it receives the data, so it will not affect the execution of other data in the process, avoiding system operating pressure, and effectively improving the operating performance of the system.
  • the configuration database may be any database, which is not limited in this application.
  • the configuration database may be an external database that communicates with the electronic device. In this way, no matter how large the storage capacity in the configuration database is, it will not affect the operation speed of the electronic device. Operation of the electronic equipment.
  • the method when storing the data table in the configuration database, the method further includes:
  • the electronic device detects other data to be stored except for the data table, and when detecting other data to be stored, stores the other data to be stored and the data table in the configuration database at the same time.
  • this application can write the buried point data into the message queue when the buried point data is received, so as to realize the temporary storage of the data, avoid affecting the normal operation speed of the system, and obtain information from the message.
  • Obtain preset types of target buried point data in the queue so as to achieve secondary screening of the data, avoid data redundancy, further analyze the target buried point data, generate a data table, and store the data table in Configure the database to achieve asynchronous storage of relational data, avoid system operating pressure, effectively improve system operating performance, and because the relationship between each data in the stored data is clearer, it is convenient for subsequent data use.
  • the data storage device 11 includes a writing unit 110, an acquiring unit 111, a generating unit 112, a storage unit 113, a display unit 114, a determining unit 115, a calling unit 116, a sending unit 117, and a detecting unit 118.
  • the module/unit referred to in this application refers to a series of computer-readable instruction segments that can be executed by the processor 13 and can complete fixed functions, and are stored in the memory 12. In this embodiment, the functions of each module/unit will be described in detail in subsequent embodiments.
  • the writing unit 110 When receiving the buried point data, the writing unit 110 writes the buried point data into the message queue.
  • the buried point refers to related technologies and implementation processes for capturing, processing, and sending specific user behaviors or events. Burying points is for the needs of statistical analysis, burying points for each event of user behavior, and analyzing these data results to further optimize products or guide operations.
  • the buried point data refers to the data generated in the foregoing process.
  • the buried point data is generated for a specified operation behavior, that is, the buried point data corresponds to at least one agreed data operation type.
  • the method further includes:
  • the acquiring unit 111 acquires all data operation types. Further, the display unit 114 displays all the data operation types. When a selection signal for any operation type among all the data operation types is received, all the data operation types are selected. The acquiring unit 111 acquires the first data corresponding to the selected first operation type, and further, the determining unit 115 determines the first data as the buried point data.
  • the determining unit 115 determines the data generated by the job forwarding operation Is the buried point data.
  • the determining unit 115 When it is detected that there is an operation to view a job position on the configuration interface, since the view job operation belongs to the selected first operation type, the determining unit 115 will view the job position operation generated The data is determined to be the buried point data.
  • the configuration interface may include, but is not limited to: a job search interface, an introductory interface, etc., and this application is not limited.
  • the buried point data can be determined according to actual business requirements, and data redundancy caused by redundant data storage can be avoided.
  • the Message Queue is an important component in a distributed system, and it mainly solves the problems of application decoupling, asynchronous messaging, traffic cutting, etc., and achieves high performance and high availability. , Scalable and eventually consistent architecture.
  • Currently used message queues include, but are not limited to: ActiveMQ, RabbitMQ, ZeroMQ, Kafka, MetaMQ, RocketMQ, etc.
  • the programs can communicate by sending data in messages instead of directly calling each other to communicate. Not only can the temporary storage of the buried point data be realized, but also the use of electronic equipment can be avoided.
  • the storage affects the execution of other data, that is, the asynchronous storage processing method can effectively solve the problem of the operating performance of the electronic device.
  • the method when the writing unit 110 receives the buried point data, the method further includes:
  • the calling unit 116 calls a configuration interface, and connects to a configuration server through the configuration interface. Further, the sending unit 117 sends the buried point data to the configuration server.
  • the configuration interface is used to call the configuration server, and the design of the configuration interface is not limited in this application.
  • the configuration server refers to a server that performs front-end embedding.
  • the acquisition unit 111 acquires the first data corresponding to the first operation type, and the sending unit 117 directly
  • the first data is sent to the configuration server, and the electronic device does not need to participate in the process of data transmission, and the first data is original data and has not undergone any data processing. Therefore, the realization is
  • the storage of the acquired raw data is a coarse-grained data storage process.
  • the data type of the buried point data is a JSON (JavaScript Object Notation, JS Object Notation) data exchange format.
  • JSON data exchange format is a lightweight data exchange language
  • JSON data exchange format adopts a text format completely independent of programming languages to store and represent data.
  • the electronic device does not need to be used for data storage, which saves the memory of the electronic device, and through the above storage process, full data storage can be realized.
  • the stored data is not easy to analyze, the stored data is not only It can be used as a backup and can also be used for the execution of other operations.
  • the stored data can be made more comprehensive, effectively avoiding data loss, and at the same time, the operating performance of the system will not be affected.
  • the acquiring unit 111 acquires a preset type of target buried point data from the message queue.
  • the target buried point data refers to data that is determined according to actual needs and that requires data relationship analysis before storage.
  • the target buried point data is the preset type of data stored in the message queue.
  • the preset type may be agreed and marked before data storage according to actual business requirements, or determined by the user, which is not limited by this application.
  • the development position forwarding operation is marked as the preset type of target burying data according to a predetermined agreement.
  • the target buried point data is used as the basic data for data analysis and needs to be further selected and determined from the buried point data.
  • the acquiring unit 111 acquiring preset types of target buried point data from the message queue includes one or a combination of the following methods:
  • the obtaining unit 111 displays all the sub-operation types of the first operation type, and when a selection signal for any operation type among all the sub-operation types is received, further, the obtaining unit 111 obtains the selection And determine the second data corresponding to the preset type as the target buried point data.
  • the acquiring unit 111 determines the marked operation type as the preset type, and acquires second data corresponding to the preset type. Further, the acquiring unit 111 determines the second data as the Target buried point data.
  • the acquiring unit 111 further acquires the development position forwarding operation from all sub-operation types of the first operation type as the preset type, and the acquiring unit 111 acquires the first development position forwarding operation generated by the development position forwarding operation. Second data, and determine the second data as the target buried point data.
  • the acquiring unit 111 can further filter the first data corresponding to the first operation type, and then the obtained second data is used as the target buried point data.
  • the generating unit 112 analyzes the target buried point data to generate a data table.
  • the data table is a binary data table.
  • column data is fixed, while row data is different.
  • relational data By analyzing the target embedded point data, relational data can be obtained, that is, the data table. Because the data is highly correlated and the relationship between the data is clear, it is convenient to perform data query and data analysis operations. , To make the results of data query and data analysis more accurate, and improve the availability of data.
  • the generating unit 112 analyzes the target buried point data, and generating a data table includes:
  • the generating unit 112 is connected to at least one server, and the target buried point data is analyzed by the at least one server to generate a data table.
  • the at least one server refers to a server that communicates with the electronic device.
  • multiple servers can perform parallel analysis of the target embedded point data, without occupying the memory of the electronic device, improving the efficiency of data execution, and effectively ensuring that the execution of other data in the electronic device is not executed. Affected.
  • the generating unit 112 can also analyze the target buried point data by itself. As long as the data analysis before storage can be realized, the original Application is not restricted.
  • the generating unit 112 analyzes the target buried point data, and generating a data table further includes:
  • the generating unit 112 uses FastJson technology or GSON technology to parse the target buried point data to obtain the relationship between each data in the target buried point data. Further, the generating unit 112 is based on each of the target buried point data. The relationship between the data establishes the data table.
  • the data table can be generated.
  • the data table is a kind of relational data, represented by a relational mathematical model, and the data is described in the form of a two-dimensional table in the relational mathematical model.
  • the relationship between the various data in the stored data is clarified to facilitate the use of subsequent data.
  • the storage unit 113 stores the data table in the configuration database.
  • the data table performs fine-grained data storage in the configuration database, which belongs to a back-end buried point data storage process. Moreover, because it is asynchronous storage, it is not executed as soon as the data is received, so it will not affect the execution of other data in the process, avoiding system operating pressure, and effectively improving the operating performance of the system.
  • the configuration database may be any database, which is not limited in this application.
  • the configuration database may be an external database that communicates with the electronic device. In this way, no matter how large the storage capacity in the configuration database is, it will not affect the operation speed of the electronic device. Operation of the electronic equipment.
  • the method when storing the data table in the configuration database, the method further includes:
  • the detection unit 118 detects other data to be stored in addition to the data table, and when other data to be stored is detected, the storage unit 113 stores the other data to be stored and the data table at the same time. Described in the configuration database.
  • this application can write the buried point data into the message queue when the buried point data is received, so as to realize the temporary storage of the data, avoid affecting the normal operation speed of the system, and obtain information from the message.
  • Obtain preset types of target buried point data in the queue so as to achieve secondary screening of the data, avoid data redundancy, further analyze the target buried point data, generate a data table, and store the data table in Configure the database to achieve asynchronous storage of relational data, avoid system operating pressure, effectively improve system operating performance, and because the relationship between each data in the stored data is clearer, it is convenient for subsequent data use.
  • FIG. 3 it is a schematic structural diagram of an electronic device implementing a preferred embodiment of the data storage method of the present application.
  • the electronic device 1 includes, but is not limited to, a memory 12, a processor 13, and computer-readable instructions that are stored in the memory 12 and can run on the processor 13 , Such as data storage programs.
  • the schematic diagram is only an example of the electronic device 1 and does not constitute a limitation on the electronic device 1. It may include more or less components than those shown in the figure, or a combination of certain components, or different components. Components, for example, the electronic device 1 may also include an input/output device, a network access device, a bus, and the like.
  • the processor 13 may be a central processing unit (Central Processing Unit, CPU), other general-purpose processors, digital signal processors (Digital Signal Processor, DSP), application specific integrated circuits (ASIC), Field-Programmable Gate Array (FPGA) or other programmable logic devices, discrete gates or transistor logic devices, discrete hardware components, etc.
  • the general-purpose processor can be a microprocessor or the processor can also be any conventional processor, etc.
  • the processor 13 is the computing core and control center of the electronic device 1 and connects the entire electronic device with various interfaces and lines. Each part of 1, and executes the operating system of the electronic device 1, and various installed applications, program codes, etc.
  • the processor 13 executes the operating system of the electronic device 1 and various installed applications.
  • the processor 13 executes the application program to implement the steps in the foregoing data storage method embodiments, such as steps S10, S11, S12, and S13 shown in FIG. 1.
  • the processor 13 implements the functions of the modules/units in the foregoing device embodiments when the processor 13 executes the computer-readable instructions, for example: when receiving buried point data, writes the buried point data into a message queue; Obtain a preset type of target buried point data from the message queue; analyze the target buried point data to generate a data table; store the data table in a configuration database.
  • the computer-readable instructions may be divided into one or more modules/units, and the one or more modules/units are stored in the memory 12 and executed by the processor 13 to Complete this application.
  • the one or more modules/units may be a series of computer-readable instruction segments capable of completing specific functions, and the instruction segments are used to describe the execution process of the computer-readable instructions in the electronic device 1.
  • the computer-readable instructions may be divided into a writing unit 110, an acquiring unit 111, a generating unit 112, a storage unit 113, a display unit 114, a determining unit 115, a calling unit 116, a sending unit 117, and a detecting unit 118.
  • the memory 12 may be used to store the computer-readable instructions and/or modules.
  • the processor 13 runs or executes the computer-readable instructions and/or modules stored in the memory 12 and calls the computer-readable instructions and/or modules stored in the memory 12
  • the data inside realizes various functions of the electronic device 1.
  • the memory 12 may mainly include a storage program area and a storage data area.
  • the storage program area may store an operating system, an application program required by at least one function (such as a sound playback function, an image playback function, etc.), etc.; the storage data area may Stores data (such as audio data) created according to the use of electronic devices, etc.
  • the memory 12 may include non-volatile memory, such as a hard disk, a memory, a plug-in hard disk, a smart memory card (Smart Media Card, SMC), a Secure Digital (SD) card, a flash memory card (Flash Card), At least one magnetic disk storage device, flash memory device, or other non-volatile solid state storage device.
  • non-volatile memory such as a hard disk, a memory, a plug-in hard disk, a smart memory card (Smart Media Card, SMC), a Secure Digital (SD) card, a flash memory card (Flash Card), At least one magnetic disk storage device, flash memory device, or other non-volatile solid state storage device.
  • the memory 12 may be an external memory and/or an internal memory of the electronic device 1. Further, the memory 12 may be a circuit with a storage function that does not have a physical form in an integrated circuit, such as FIFO (First In First Out) and so on. Alternatively, the memory 12 may also be a memory in a physical form, such as a memory stick, a TF card (Trans-flash Card), and so on.
  • FIFO First In First Out
  • TF card Trans-flash Card
  • the integrated module/unit of the electronic device 1 is implemented in the form of a software functional unit and sold or used as an independent product, it can be stored in a non-volatile readable storage medium.
  • this application implements all or part of the processes in the above-mentioned embodiments and methods, and can also be completed by instructing relevant hardware through computer-readable instructions.
  • the computer-readable instructions may be stored in a non-volatile memory. In the storage medium, when the computer-readable instructions are executed by the processor, the steps of the foregoing method embodiments can be implemented.
  • the computer-readable instructions may be in the form of source code, object code, executable file, or some intermediate forms.
  • the non-volatile readable medium may include: any entity or device capable of carrying the computer readable instruction code, recording medium, U disk, mobile hard disk, magnetic disk, optical disk, computer memory, read-only memory (ROM, Read-Only Memory).
  • the memory 12 in the electronic device 1 stores multiple instructions to implement a data storage method, and the processor 13 can execute the multiple instructions so as to realize: when the embedded point data is received, Write the buried point data into a message queue; obtain a preset type of target buried point data from the message queue; parse the target buried point data to generate a data table; store the data table in a configuration database in.
  • modules described as separate components may or may not be physically separated, and the components displayed as modules may or may not be physical units, that is, they may be located in one place, or they may be distributed on multiple network units. Some or all of the modules can be selected according to actual needs to achieve the objectives of the solutions of the embodiments.
  • the functional modules in the various embodiments of the present application may be integrated into one processing unit, or each unit may exist alone physically, or two or more units may be integrated into one unit.
  • the above-mentioned integrated unit may be implemented in the form of hardware, or may be implemented in the form of hardware plus software functional modules.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

一种数据存储方法、装置、电子设备及存储介质，所述方法包括：当接收到埋点数据时，将所述埋点数据写入消息队列（S10）；从所述消息队列中获取预设类型的目标埋点数据（S11）；对所述目标埋点数据进行解析，生成数据表（S12）；将所述数据表存储在配置数据库中（S13）。所述方法实现对关系型数据的异步存储，避免造成系统运行压力，对数据进行处理，有效提高系统的运行性能，且由于存储的数据中各个数据间的关系更加明确，因此便于后续数据的使用。

Description

数据存储方法、装置、电子设备及存储介质
本申请要求于2019年09月18日提交中国专利局，申请号为201910881337.0发明名称为“数据存储方法、装置、电子设备及存储介质”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。
技术领域
本申请涉及数据处理技术领域，尤其涉及一种数据存储方法、装置、电子设备及存储介质。
背景技术
现有技术方案中，业内多数产品的数据存储粒度较粗，只是简单的将数据混合在一起，而当用户想要从存储的数据中查找需要的数据时，不仅要在所有数据中进行查找，且由于数据间的关系混乱，将导致很难查找到需要的数据，不利于数据报表的产出和数据分析。
而如果在获取到数据的同时将数据直接存储在正在使用的服务器中，虽然能够解决数据存储粒度较粗的问题，但由于存储过程所占用的内存较高，将导致服务器运行缓慢，影响其他数据的正常执行。
因此，目前还无法在不影响服务器正常运行的情况下，解决数据存储粒度较粗的问题。
发明内容
鉴于以上内容，有必要提供一种数据存储方法、装置、电子设备及存储介质，能够实现对关系型数据的异步存储，避免造成系统运行压力，有效提高系统的运行性能。
一种数据存储方法，所述方法包括：
当接收到埋点数据时，将所述埋点数据写入消息队列；
从所述消息队列中获取预设类型的目标埋点数据；
对所述目标埋点数据进行解析，生成数据表；
将所述数据表存储在配置数据库中。
根据本申请实施例，所述方法还包括：
当检测到登陆信号时，获取所有数据操作类型；
显示所述所有数据操作类型；
当接收到对所述所有数据操作类型中任意操作类型的选择信号时，获取选择的第一操作类型对应的第一数据；
将所述第一数据确定为所述埋点数据。
根据本申请实施例，当接收到埋点数据时，所述方法还包括：
调用配置接口；
通过所述配置接口连接到配置服务器；
将所述埋点数据发送至所述配置服务器。
根据本申请实施例，所述从所述消息队列中获取预设类型的目标埋点数据包括以下一种或者多种方式的组合：
显示所述第一操作类型的所有子操作类型，当接收到对所述所有子操作类型中任意操作类型的选择信号时，获取选择的所述预设类型对应的第二数据，将所述第二数据确定为所述目标埋点数据；及/或
确定标记的操作类型作为所述预设类型，获取所述预设类型对应的第二数据，将所述第二数据确定为所述目标埋点数据。
根据本申请实施例，所述对所述目标埋点数据进行解析，生成数据表包括：
连接至少一个服务器，以所述至少一个服务器对所述目标埋点数据进行解析，生成数据表。
根据本申请实施例，所述对所述目标埋点数据进行解析，生成数据表还包括：
采用FastJson技术或者GSON技术解析所述目标埋点数据，得到所述目标埋点数据中各个数据间的关系；
基于所述目标埋点数据中各个数据间的关系建立所述数据表。
根据本申请实施例，在将所述数据表存储在配置数据库中时，所述方法还包括：
检测除所述数据表之外的其他待存储数据；
当检测到有其他待存储数据时，将所述其他待存储数据及所述数据表同时存储在所述配置数据库中。
一种数据存储装置，所述装置包括：
写入单元，用于当接收到埋点数据时，将所述埋点数据写入消息队列；
获取单元，用于从所述消息队列中获取预设类型的目标埋点数据；
生成单元，用于对所述目标埋点数据进行解析，生成数据表；
存储单元，用于将所述数据表存储在配置数据库中。
根据本申请实施例，所述获取单元，还用于当检测到登陆信号时，获取所有数据操作类型；
所述装置还包括：
显示单元，用于显示所述所有数据操作类型；
所述获取单元，还用于当接收到对所述所有数据操作类型中任意操作类型的选择信号时，获取选择的第一操作类型对应的第一数据；
确定单元，用于将所述第一数据确定为所述埋点数据。
根据本申请实施例，所述装置还包括：
调用单元，用于当接收到埋点数据时，调用配置接口；
所述调用单元，还用于通过所述配置接口连接到配置服务器；
发送单元，用于将所述埋点数据发送至所述配置服务器。
根据本申请实施例，所述获取单元从所述消息队列中获取预设类型的目标埋点数据包括以下一种或者多种方式的组合：
显示所述第一操作类型的所有子操作类型，当接收到对所述所有子操作类型中任意操作类型的选择信号时，获取选择的所述预设类型对应的第二数据，将所述第二数据确定为所述目标埋点数据；及/或
确定标记的操作类型作为所述预设类型，获取所述预设类型对应的第二数据，将所述第二数据确定为所述目标埋点数据。
根据本申请实施例，所述生成单元具体用于：
连接至少一个服务器，以所述至少一个服务器对所述目标埋点数据进行解析，生成数据表。
根据本申请实施例，所述生成单元具体还用于：
采用FastJson技术或者GSON技术解析所述目标埋点数据，得到所述目标埋点数据中各个数据间的关系；
基于所述目标埋点数据中各个数据间的关系建立所述数据表。
根据本申请实施例，所述装置还包括：
检测单元，用于在将所述数据表存储在配置数据库中时，检测除所述数据表之外的其他待存储数据；
所述存储单元，还用于当检测到有其他待存储数据时，将所述其他待存储数据及所述数据表同时存储在所述配置数据库中。
一种电子设备，所述电子设备包括：
存储器，存储至少一个指令；及
处理器，执行所述存储器中存储的指令以实现所述数据存储方法。
一种非易失性可读存储介质，所述非易失性可读存储介质中存储有至少一个指令，所述至少一个指令被电子设备中的处理器执行以实现所述数据存储方法。
由以上技术方案可以看出，本申请能够当接收到埋点数据时，将所述埋点数据写入消息队列，实现对数据的临时存储，避免影响系统正常运行的速度，并从所述消息队列中获取预设类型的目标埋点数据，从而实现对数据的二次筛选，避免数据的冗余，进一步对所述目标埋点数据进行解析，生成数据表，并将所述数据表存储在配置数据库中，从而实现对关系型数据的异步存储，避免造成系统运行压力，有效提高系统的运行性能，且由于存储的数据中各个数据间的关系更加明确，因此便于后续数据的使用。
附图说明
图1是本申请数据存储方法的较佳实施例的流程图。
图2是本申请数据存储装置的较佳实施例的功能模块图。
图3是本申请实现数据存储方法的较佳实施例的电子设备的结构示意图。
具体实施方式
为了使本申请的目的、技术方案和优点更加清楚，下面结合附图和具体实施例对本申请进行详细描述。
如图1所示，是本申请数据存储方法的较佳实施例的流程图。根据不同的需求，该流程图中步骤的顺序可以改变，某些步骤可以省略。
所述数据存储方法应用于一个或者多个电子设备中，所述电子设备是一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的设备，其硬件包括但不限于微处理器、专用集成电路(Application Specific Integrated Circuit，ASIC)、可编程门阵列(Field－Programmable Gate Array，FPGA)、数字处理器(Digital Signal Processor，DSP)、嵌入式设备等。
所述电子设备可以是任何一种可与用户进行人机交互的电子产品，例如，个人计算机、平板电脑、智能手机、个人数字助理(Personal Digital Assistant，PDA)、游戏机、交互式网络电视(Internet Protocol Television，IPTV)、智能式穿戴式设备等。
所述电子设备还可以包括网络设备和/或用户设备。其中，所述网络设备包括，但不限于单个网络服务器、多个网络服务器组成的服务器组或基于云计算(Cloud Computing)的由大量主机或网络服务器构成的云。
所述电子设备所处的网络包括但不限于互联网、广域网、城域网、局域网、虚拟专用网络(Virtual Private Network，VPN)等。
S10，当接收到埋点数据时，将所述埋点数据写入消息队列。
在本申请的至少一个实施例中，埋点是指针对特定用户行为或事件进行捕获、处理和发送的相关技术及其实施过程。埋点是为了统计分析的需要，对用户行为的每一个事件进行埋点布置，并对这些数据结果进行分析，进一步优化产品或指导运营。
在本申请的至少一个实施例中，所述埋点数据则是指在上述过程中所产生的数据。
因此，所述埋点数据是针对指定的操作行为产生的，即所述埋点数据对应于至少一种约定的数据操作类型。
在本申请的至少一个实施例中，所述方法还包括：
当检测到登陆信号时，所述电子设备获取所有数据操作类型，进一步地，所述电子设备显示所述所有数据操作类型，当接收到对所述所有数据操作类型中任意操作类型的选择信号时，所述电子设备获取选择的第一操作类型对应的第一数据，更进一步地，所述电子设备将所述第一数据确定为所述埋点数据。
例如：(1)当检测到在配置界面上有职位转发的操作时，由于职位转发操作属于被选择的所述第一操作类型，因此，所述电子设备将职位转发操作所产生的数据确定为所述埋点数据。
(2)当检测到在所述配置界面上有查看工作岗位的操作时，由于查看工作岗位操作属于被选择的所述第一操作类型，因此，所述电子设备将查看工作岗位操作所产生的数据确定为所述埋点数据。
其中所述配置界面可以包括，但不限于：求职界面、内推界面等，本申请不限制。
通过上述实施方式，能够根据实际业务需求确定所述埋点数据，避免多余的数据存储带来数据的冗余。
在本申请的至少一个实施例中，所述消息队列(Message Queue，MQ)是分布式系统 中重要的组件，主要解决应用解耦、异步消息、流量削锋等问题，实现高性能、高可用、可伸缩和最终一致性架构。目前使用较多的消息队列包括，但不限于：ActiveMQ，RabbitMQ，ZeroMQ，Kafka，MetaMQ，RocketMQ等。
通过消息队列，能够使程序之间通过在消息中发送数据进行通信，而不是通过直接调用彼此来进行通信的，不仅可以实现对所述埋点数据的临时存储，还可以避免由于采用所述电子设备进行存储给其他数据的执行带来影响，也就是说，通过异步存储的处理方式，能够有效解决所述电子设备运行性能的问题。
在本申请的至少一个实施例中，当所述电子设备接收到埋点数据时，所述方法还包括：
所述电子设备调用配置接口，通过所述配置接口连接到配置服务器，将所述埋点数据发送至所述配置服务器。
具体地，所述配置接口用于调用所述配置服务器，本申请对所述配置接口的设计方式不作限制。
具体地，所述配置服务器是指进行前端埋点的服务器。
进一步地，当所述电子设备检测到在一个页面上有所述第一操作类型的操作时，所述电子设备获取所述第一操作类型对应的第一数据，所述电子设备直接将所述第一数据发送至所述配置服务器，而所述电子设备无需参与到数据传输的过程中，并且，所述第一数据是原始的数据，没有经过任何的数据处理，因此，实现的是对获取到的原始数据所进行的存储，属于粗粒度的数据存储过程。
其中，所述埋点数据的数据类型为JSON(JavaScript Object Notation，JS对象简谱)数据交换格式。
进一步地，所述JSON数据交换格式是一种轻量级的数据交换语言，并且，所述JSON数据交换格式采用完全独立于编程语言的文本格式来存储和表示数据。
通过上述实施方式，无需利用所述电子设备进行数据的存储，节约了所述电子设备的内存，且通过上述存储过程，能够实现全数据存储，虽然存储的数据不便于解析，但是存储的数据不仅能够作为备份，还能够用于其他操作的执行。
并且，通过上述实施方式，能够使存储的数据更加全面，有效避免数据丢失，同时不会影响系统的运行性能。
S11，从所述消息队列中获取预设类型的目标埋点数据。
在本申请的至少一个实施例中，所述目标埋点数据是指根据实际需求确定的，并且 在存储之前需要进行数据关系解析的数据。
也就是说，所述目标埋点数据是在所述消息队列中存储的所述预设类型的数据。
其中，所述预设类型可以根据实际业务需求，在数据存储前进行约定并标记，或者由用户进行确定，本申请不限制。
例如：对于职位转发操作类型的埋点数据，根据预先约定，将开发职位转发操作进行标记，作为所述预设类型的目标埋点数据。
在本申请的至少一个实施例中，所述目标埋点数据作为数据解析的基础数据，需要进一步从所述埋点数据中筛选确定。
在本申请的至少一个实施例中，所述电子设备从所述消息队列中获取预设类型的目标埋点数据包括以下一种或者多种方式的组合：
(1)所述电子设备显示所述第一操作类型的所有子操作类型，当接收到对所述所有子操作类型中任意操作类型的选择信号时，获取选择的所述预设类型对应的第二数据，进一步地，所述电子设备将所述第二数据确定为所述目标埋点数据。
(2)所述电子设备确定标记的操作类型作为所述预设类型，获取所述预设类型对应的第二数据，进一步地，所述电子设备将所述第二数据确定为所述目标埋点数据。
例如：所述电子设备从所述第一操作类型的所有子操作类型中进一步获取到开发职位转发操作作为所述预设类型，所述电子设备获取所述开发职位转发操作所产生的第二数据，进一步地，所述电子设备将所述第二数据确定为所述目标埋点数据。
通过上述实施方式，所述电子设备能够对所述第一操作类型所对应的第一数据进行进一步筛选，进而得到的所述第二数据作为所述目标埋点数据。
可以理解的是，鉴于有些数据是对数据分析及查询等类型的操作没有实质意义的，因此可以直接跳过这些多余的数据，所述电子设备无需对所述埋点数据中的所有数据都进行解析，避免造成数据的冗余，给数据库的存储造成负担，也不利于后续数据的调用。
S12，对所述目标埋点数据进行解析，生成数据表。
在本申请的至少一个实施例中，所述数据表是一个二进制数据表格，在所述数据表中，列数据是固定的，而行数据则不同。
通过解析所述目标埋点数据，能够得到关系型数据，即所述数据表，由于数据间的关联性较高，且数据间的关系明确，因此能够便于执行数据的查询及数据的分析等操作，使数据查询及数据分析的结果更加准确，提高数据的可用性。
在本申请的至少一个实施例中，所述电子设备对所述目标埋点数据进行解析，生成 数据表包括：
所述电子设备连接至少一个服务器，以所述至少一个服务器对所述目标埋点数据进行解析，生成数据表。
具体地，所述至少一个服务器是指与所述电子设备相通信的服务器。
通过上述实施方式，能够实现多个服务器对所述目标埋点数据的并行解析，且无需占用所述电子设备的内存，提高数据执行的效率，并有效保证所述电子设备中其他数据的执行不受影响。
当然，在其他实施方式中，鉴于资源的限制，如果没有足够的服务器作为支撑，所述电子设备也可以自行对所述目标埋点数据进行解析，只要能够实现在存储前的数据解析，本申请不限制。
具体地，所述电子设备对所述目标埋点数据进行解析，生成数据表还包括：
所述电子设备采用FastJson技术或者GSON技术解析所述目标埋点数据，得到所述目标埋点数据中各个数据间的关系，进一步地，所述电子设备基于所述目标埋点数据中各个数据间的关系建立所述数据表。
通过上述实施方式，能够生成所述数据表，所述数据表是一种关系型数据，以关系数学模型来表示，并且在关系数学模型中以二维表的形式来描述数据，进而能够在进行数据存储的同时，对存储的数据中各个数据间的关系进行明确，便于后续数据的使用。
S13，将所述数据表存储在配置数据库中。
在本申请的至少一个实施例中，所述数据表在所述配置数据库中进行细粒度的数据存储，属于后端埋点的数据存储过程。并且，由于进行的是异步存储，所述电子设备没有在一接收到数据时就执行，因此不会影响到此过程中其他数据的执行，避免造成系统运行压力，有效提高系统的运行性能。
在本申请的至少一个实施例中，所述配置数据库可以是任意数据库，本申请不限制。
当然，为了避免对所述电子设备的运行速度造成影响，所述配置数据库可以为与所述电子设备相通信的外部数据库，这样，无论所述配置数据库中的存储量有多大，都不会影响所述电子设备的运行。
在本申请的至少一个实施例中，在将所述数据表存储在配置数据库中时，所述方法还包括：
所述电子设备检测除所述数据表之外的其他待存储数据，当检测到有其他待存储数据时，将所述其他待存储数据及所述数据表同时存储在所述配置数据库中。
通过上述实施方式，不仅能够实现对所述数据表的异步存储，同时还能够实现对数据的批量存储，以提高数据存储的效率，有效避免数据堵塞的情况。
由以上技术方案可以看出，本申请能够当接收到埋点数据时，将所述埋点数据写入消息队列，实现对数据的临时存储，避免影响系统正常运行的速度，并从所述消息队列中获取预设类型的目标埋点数据，从而实现对数据的二次筛选，避免数据的冗余，进一步对所述目标埋点数据进行解析，生成数据表，并将所述数据表存储在配置数据库中，从而实现对关系型数据的异步存储，避免造成系统运行压力，有效提高系统的运行性能，且由于存储的数据中各个数据间的关系更加明确，因此便于后续数据的使用。
如图2所示，是本申请数据存储装置的较佳实施例的功能模块图。所述数据存储装置11包括写入单元110、获取单元111、生成单元112、存储单元113、显示单元114、确定单元115、调用单元116、发送单元117以及检测单元118。本申请所称的模块/单元是指一种能够被处理器13所执行，并且能够完成固定功能的一系列计算机可读指令段，其存储在存储器12中。在本实施例中，关于各模块/单元的功能将在后续的实施例中详述。
当接收到埋点数据时，写入单元110将所述埋点数据写入消息队列。
在本申请的至少一个实施例中，埋点是指针对特定用户行为或事件进行捕获、处理和发送的相关技术及其实施过程。埋点是为了统计分析的需要，对用户行为的每一个事件进行埋点布置，并对这些数据结果进行分析，进一步优化产品或指导运营。
在本申请的至少一个实施例中，所述埋点数据则是指在上述过程中所产生的数据。
因此，所述埋点数据是针对指定的操作行为产生的，即所述埋点数据对应于至少一种约定的数据操作类型。
在本申请的至少一个实施例中，所述方法还包括：
当检测到登陆信号时，获取单元111获取所有数据操作类型，进一步地，显示单元114显示所述所有数据操作类型，当接收到对所述所有数据操作类型中任意操作类型的选择信号时，所述获取单元111获取选择的第一操作类型对应的第一数据，更进一步地，确定单元115将所述第一数据确定为所述埋点数据。
例如：(1)当检测到在配置界面上有职位转发的操作时，由于职位转发操作属于被选择的所述第一操作类型，因此，所述确定单元115将职位转发操作所产生的数据确定为所述埋点数据。
(2)当检测到在所述配置界面上有查看工作岗位的操作时，由于查看工作岗位操作属于被选择的所述第一操作类型，因此，所述确定单元115将查看工作岗位操作所产生的数据确定为所述埋点数据。
其中所述配置界面可以包括，但不限于：求职界面、内推界面等，本申请不限制。
通过上述实施方式，能够根据实际业务需求确定所述埋点数据，避免多余的数据存储带来数据的冗余。
在本申请的至少一个实施例中，所述消息队列(Message Queue，MQ)是分布式系统中重要的组件，主要解决应用解耦、异步消息、流量削锋等问题，实现高性能、高可用、可伸缩和最终一致性架构。目前使用较多的消息队列包括，但不限于：ActiveMQ，RabbitMQ，ZeroMQ，Kafka，MetaMQ，RocketMQ等。
通过消息队列，能够使程序之间通过在消息中发送数据进行通信，而不是通过直接调用彼此来进行通信的，不仅可以实现对所述埋点数据的临时存储，还可以避免由于采用电子设备进行存储给其他数据的执行带来影响，也就是说，通过异步存储的处理方式，能够有效解决所述电子设备运行性能的问题。
在本申请的至少一个实施例中，当所述写入单元110接收到埋点数据时，所述方法还包括：
调用单元116调用配置接口，通过所述配置接口连接到配置服务器，进一步地，发送单元117将所述埋点数据发送至所述配置服务器。
具体地，所述配置接口用于调用所述配置服务器，本申请对所述配置接口的设计方式不作限制。
具体地，所述配置服务器是指进行前端埋点的服务器。
进一步地，即当检测单元118检测到在一个页面上有所述第一操作类型的操作时，所述获取单元111获取所述第一操作类型对应的第一数据，所述发送单元117直接将所述第一数据发送至所述配置服务器，而所述电子设备无需参与到数据传输的过程中，并且，所述第一数据是原始的数据，没有经过任何的数据处理，因此，实现的是对获取到的原始数据所进行的存储，属于粗粒度的数据存储过程。
其中，所述埋点数据的数据类型为JSON(JavaScript Object Notation，JS对象简谱)数据交换格式。
进一步地，所述JSON数据交换格式是一种轻量级的数据交换语言，并且，所述JSON数据交换格式采用完全独立于编程语言的文本格式来存储和表示数据。
通过上述实施方式，无需利用所述电子设备进行数据的存储，节约了所述电子设备的内存，且通过上述存储过程，能够实现全数据存储，虽然存储的数据不便于解析，但是存储的数据不仅能够作为备份，还能够用于其他操作的执行。
并且，通过上述实施方式，能够使存储的数据更加全面，有效避免数据丢失，同时不会影响系统的运行性能。
所述获取单元111从所述消息队列中获取预设类型的目标埋点数据。
在本申请的至少一个实施例中，所述目标埋点数据是指根据实际需求确定的，并且在存储之前需要进行数据关系解析的数据。
也就是说，所述目标埋点数据是在所述消息队列中存储的所述预设类型的数据。
其中，所述预设类型可以根据实际业务需求，在数据存储前进行约定并标记，或者由用户进行确定，本申请不限制。
例如：对于职位转发操作类型的埋点数据，根据预先约定，将开发职位转发操作进行标记，作为所述预设类型的目标埋点数据。
在本申请的至少一个实施例中，所述目标埋点数据作为数据解析的基础数据，需要进一步从所述埋点数据中筛选确定。
在本申请的至少一个实施例中，所述获取单元111从所述消息队列中获取预设类型的目标埋点数据包括以下一种或者多种方式的组合：
(1)所述获取单元111显示所述第一操作类型的所有子操作类型，当接收到对所述所有子操作类型中任意操作类型的选择信号时，进一步地，所述获取单元111获取选择的所述预设类型对应的第二数据，并将所述第二数据确定为所述目标埋点数据。
(2)所述获取单元111确定标记的操作类型作为所述预设类型，获取所述预设类型对应的第二数据，进一步地，所述获取单元111将所述第二数据确定为所述目标埋点数据。
例如：所述获取单元111从所述第一操作类型的所有子操作类型中进一步获取到开发职位转发操作作为所述预设类型，所述获取单元111获取所述开发职位转发操作所产生的第二数据，并将所述第二数据确定为所述目标埋点数据。
通过上述实施方式，所述获取单元111能够对所述第一操作类型所对应的第一数据进行进一步筛选，进而得到的所述第二数据作为所述目标埋点数据。
可以理解的是，鉴于有些数据是对数据分析及查询等类型的操作没有实质意义的，因此可以直接跳过这些多余的数据，生成单元112无需对所述埋点数据中的所有数据都 进行解析，避免造成数据的冗余，给数据库的存储造成负担，也不利于后续数据的调用。
所述生成单元112对所述目标埋点数据进行解析，生成数据表。
在本申请的至少一个实施例中，所述数据表是一个二进制数据表格，在所述数据表中，列数据是固定的，而行数据则不同。
通过解析所述目标埋点数据，能够得到关系型数据，即所述数据表，由于数据间的关联性较高，且数据间的关系明确，因此能够便于执行数据的查询及数据的分析等操作，使数据查询及数据分析的结果更加准确，提高数据的可用性。
在本申请的至少一个实施例中，所述生成单元112对所述目标埋点数据进行解析，生成数据表包括：
所述生成单元112连接至少一个服务器，以所述至少一个服务器对所述目标埋点数据进行解析，生成数据表。
具体地，所述至少一个服务器是指与所述电子设备相通信的服务器。
通过上述实施方式，能够实现多个服务器对所述目标埋点数据的并行解析，且无需占用所述电子设备的内存，提高数据执行的效率，并有效保证所述电子设备中其他数据的执行不受影响。
当然，在其他实施方式中，鉴于资源的限制，如果没有足够的服务器作为支撑，所述生成单元112也可以自行对所述目标埋点数据进行解析，只要能够实现在存储前的数据解析，本申请不限制。
具体地，所述生成单元112对所述目标埋点数据进行解析，生成数据表还包括：
所述生成单元112采用FastJson技术或者GSON技术解析所述目标埋点数据，得到所述目标埋点数据中各个数据间的关系，进一步地，所述生成单元112基于所述目标埋点数据中各个数据间的关系建立所述数据表。
通过上述实施方式，能够生成所述数据表，所述数据表是一种关系型数据，以关系数学模型来表示，并且在关系数学模型中以二维表的形式来描述数据，进而能够在进行数据存储的同时，对存储的数据中各个数据间的关系进行明确，便于后续数据的使用。
存储单元113将所述数据表存储在配置数据库中。
在本申请的至少一个实施例中，所述数据表在所述配置数据库中进行细粒度的数据存储，属于后端埋点的数据存储过程。并且，由于进行的是异步存储，没有在一接收到数据时就执行，因此不会影响到此过程中其他数据的执行，避免造成系统运行压力，有效提高系统的运行性能。
在本申请的至少一个实施例中，所述配置数据库可以是任意数据库，本申请不限制。
当然，为了避免对所述电子设备的运行速度造成影响，所述配置数据库可以为与所述电子设备相通信的外部数据库，这样，无论所述配置数据库中的存储量有多大，都不会影响所述电子设备的运行。
在本申请的至少一个实施例中，在将所述数据表存储在配置数据库中时，所述方法还包括：
所述检测单元118检测除所述数据表之外的其他待存储数据，当检测到有其他待存储数据时，所述存储单元113将所述其他待存储数据及所述数据表同时存储在所述配置数据库中。
通过上述实施方式，不仅能够实现对所述数据表的异步存储，同时还能够实现对数据的批量存储，以提高数据存储的效率，有效避免数据堵塞的情况。
由以上技术方案可以看出，本申请能够当接收到埋点数据时，将所述埋点数据写入消息队列，实现对数据的临时存储，避免影响系统正常运行的速度，并从所述消息队列中获取预设类型的目标埋点数据，从而实现对数据的二次筛选，避免数据的冗余，进一步对所述目标埋点数据进行解析，生成数据表，并将所述数据表存储在配置数据库中，从而实现对关系型数据的异步存储，避免造成系统运行压力，有效提高系统的运行性能，且由于存储的数据中各个数据间的关系更加明确，因此便于后续数据的使用。
如图3所示，是本申请实现数据存储方法的较佳实施例的电子设备的结构示意图。
在本申请的一个实施例中，所述电子设备1包括，但不限于，存储器12、处理器13，以及存储在所述存储器12中并可在所述处理器13上运行的计算机可读指令，例如数据存储程序。
本领域技术人员可以理解，所述示意图仅仅是电子设备1的示例，并不构成对电子设备1的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述电子设备1还可以包括输入输出设备、网络接入设备、总线等。
所述处理器13可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器13是所 述电子设备1的运算核心和控制中心，利用各种接口和线路连接整个电子设备1的各个部分，及执行所述电子设备1的操作系统以及安装的各类应用程序、程序代码等。
所述处理器13执行所述电子设备1的操作系统以及安装的各类应用程序。所述处理器13执行所述应用程序以实现上述各个数据存储方法实施例中的步骤，例如图1所示的步骤S10、S11、S12、S13。
或者，所述处理器13执行所述计算机可读指令时实现上述各装置实施例中各模块/单元的功能，例如：当接收到埋点数据时，将所述埋点数据写入消息队列；从所述消息队列中获取预设类型的目标埋点数据；对所述目标埋点数据进行解析，生成数据表；将所述数据表存储在配置数据库中。
示例性的，所述计算机可读指令可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器12中，并由所述处理器13执行，以完成本申请。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机可读指令段，该指令段用于描述所述计算机可读指令在所述电子设备1中的执行过程。例如，所述计算机可读指令可以被分割成写入单元110、获取单元111、生成单元112、存储单元113、显示单元114、确定单元115、调用单元116、发送单元117以及检测单元118。
所述存储器12可用于存储所述计算机可读指令和/或模块，所述处理器13通过运行或执行存储在所述存储器12内的计算机可读指令和/或模块，以及调用存储在存储器12内的数据，实现所述电子设备1的各种功能。所述存储器12可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据电子设备的使用所创建的数据(比如音频数据)等。此外，存储器12可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。
所述存储器12可以是电子设备1的外部存储器和/或内部存储器。进一步地，所述存储器12可以是集成电路中没有实物形式的具有存储功能的电路，如FIFO(First In First Out，)等。或者，所述存储器12也可以是具有实物形式的存储器，如内存条、TF卡(Trans-flash Card)等等。
所述电子设备1集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个非易失性可读取存储介质中。基于这样的理解，本申请 实现上述实施例方法中的全部或部分流程，也可以通过计算机可读指令来指令相关的硬件来完成，所述的计算机可读指令可存储于一非易失性可读存储介质中，该计算机可读指令在被处理器执行时，可实现上述各个方法实施例的步骤。
其中，所述计算机可读指令可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述非易失性可读介质可以包括：能够携带所述计算机可读指令代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)。
结合图1，所述电子设备1中的所述存储器12存储多个指令以实现一种数据存储方法，所述处理器13可执行所述多个指令从而实现：当接收到埋点数据时，将所述埋点数据写入消息队列；从所述消息队列中获取预设类型的目标埋点数据；对所述目标埋点数据进行解析，生成数据表；将所述数据表存储在配置数据库中。
具体地，所述处理器13对上述指令的具体实现方法可参考图1对应实施例中相关步骤的描述，在此不赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能模块的形式实现。
对于本领域技术人员而言，显然本申请不限于上述示范性实施例的细节，而且在不背离本申请的精神或基本特征的情况下，能够以其他的具体形式实现本申请。
因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本申请的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本申请内。不应将权利要求中的任何附关联图标记视为限制所涉及的权利要求。
此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。系统权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第二等词语用来表示名称，而并不表示任何特定的顺序。
最后应说明的是，以上实施例仅用以说明本申请的技术方案而非限制，尽管参照较佳实施例对本申请进行了详细说明，本领域的普通技术人员应当理解，可以对本申请的技术方案进行修改或等同替换，而不脱离本申请技术方案的精神和范围。

Claims (20)

  1. 一种数据存储方法，其特征在于，所述方法包括：
    当接收到埋点数据时，将所述埋点数据写入消息队列；
    从所述消息队列中获取预设类型的目标埋点数据；
    对所述目标埋点数据进行解析，生成数据表；
    将所述数据表存储在配置数据库中。
  2. 如权利要求1所述的数据存储方法，其特征在于，所述方法还包括：
    当检测到登陆信号时，获取所有数据操作类型；
    显示所述所有数据操作类型；
    当接收到对所述所有数据操作类型中任意操作类型的选择信号时，获取选择的第一操作类型对应的第一数据；
    将所述第一数据确定为所述埋点数据。
  3. 如权利要求1所述的数据存储方法，其特征在于，当接收到埋点数据时，所述方法还包括：
    调用配置接口；
    通过所述配置接口连接到配置服务器；
    将所述埋点数据发送至所述配置服务器。
  4. 如权利要求2所述的数据存储方法，其特征在于，所述从所述消息队列中获取预设类型的目标埋点数据包括以下一种或者多种方式的组合：
    显示所述第一操作类型的所有子操作类型，当接收到对所述所有子操作类型中任意操作类型的选择信号时，获取选择的所述预设类型对应的第二数据，将所述第二数据确定为所述目标埋点数据；及/或
    确定标记的操作类型作为所述预设类型，获取所述预设类型对应的第二数据，将所述第二数据确定为所述目标埋点数据。
  5. 如权利要求1所述的数据存储方法，其特征在于，所述对所述目标埋点数据进行解析，生成数据表包括：
    连接至少一个服务器，以所述至少一个服务器对所述目标埋点数据进行解析，生成数据表。
  6. 如权利要求1所述的数据存储方法，其特征在于，所述对所述目标埋点数据进 行解析，生成数据表还包括：
    采用FastJson技术或者GSON技术解析所述目标埋点数据，得到所述目标埋点数据中各个数据间的关系；
    基于所述目标埋点数据中各个数据间的关系建立所述数据表。
  7. 如权利要求1所述的数据存储方法，其特征在于，在将所述数据表存储在配置数据库中时，所述方法还包括：
    检测除所述数据表之外的其他待存储数据；
    当检测到有其他待存储数据时，将所述其他待存储数据及所述数据表同时存储在所述配置数据库中。
  8. 一种数据存储装置，其特征在于，所述装置包括：
    写入单元，用于当接收到埋点数据时，将所述埋点数据写入消息队列；
    获取单元，用于从所述消息队列中获取预设类型的目标埋点数据；
    生成单元，用于对所述目标埋点数据进行解析，生成数据表；
    存储单元，用于将所述数据表存储在配置数据库中。
  9. 一种电子设备，其特征在于，所述电子设备包括：
    存储器，存储至少一个计算机可读指令；及
    处理器，执行所述至少一个计算机可读指令以实现以下步骤：
    当接收到埋点数据时，将所述埋点数据写入消息队列；
    从所述消息队列中获取预设类型的目标埋点数据；
    对所述目标埋点数据进行解析，生成数据表；
    将所述数据表存储在配置数据库中。
  10. 如权利要求9所述的电子设备，其特征在于，所述处理器执行至少一个计算机可读指令还用以实现以下步骤：
    当检测到登陆信号时，获取所有数据操作类型；
    显示所述所有数据操作类型；
    当接收到对所述所有数据操作类型中任意操作类型的选择信号时，获取选择的第一操作类型对应的第一数据；
    将所述第一数据确定为所述埋点数据。
  11. 如权利要求9所述的电子设备，其特征在于，当接收到埋点数据时，所述处理器执行至少一个计算机可读指令还用以实现以下步骤：
    调用配置接口；
    通过所述配置接口连接到配置服务器；
    将所述埋点数据发送至所述配置服务器。
  12. 如权利要求10所述的电子设备，其特征在于，所述处理器执行至少一个计算机可读指令以实现所述从所述消息队列中获取预设类型的目标埋点数据时，包括以下一种或者多种方式的组合：
    显示所述第一操作类型的所有子操作类型，当接收到对所述所有子操作类型中任意操作类型的选择信号时，获取选择的所述预设类型对应的第二数据，将所述第二数据确定为所述目标埋点数据；及/或
    确定标记的操作类型作为所述预设类型，获取所述预设类型对应的第二数据，将所述第二数据确定为所述目标埋点数据。
  13. 如权利要求9所述的电子设备，其特征在于，所述处理器执行至少一个计算机可读指令以实现所述对所述目标埋点数据进行解析，生成数据表时，包括以下步骤：
    连接至少一个服务器，以所述至少一个服务器对所述目标埋点数据进行解析，生成数据表。
  14. 如权利要求9所述的电子设备，其特征在于，所述处理器执行至少一个计算机可读指令以实现所述对所述目标埋点数据进行解析，生成数据表时，还包括以下步骤：
    采用FastJson技术或者GSON技术解析所述目标埋点数据，得到所述目标埋点数据中各个数据间的关系；
    基于所述目标埋点数据中各个数据间的关系建立所述数据表。
  15. 一种非易失性可读存储介质，其特征在于：所述非易失性可读存储介质中存储有至少一个计算机可读指令，所述至少一个计算机可读指令被电子设备中的处理器执行以实现以下步骤：
    当接收到埋点数据时，将所述埋点数据写入消息队列；
    从所述消息队列中获取预设类型的目标埋点数据；
    对所述目标埋点数据进行解析，生成数据表；
    将所述数据表存储在配置数据库中。
  16. 如权利要求15所述的存储介质，其特征在于，所述至少一个计算机可读指令被处理器执行还用以实现以下步骤：
    当检测到登陆信号时，获取所有数据操作类型；
    显示所述所有数据操作类型；
    当接收到对所述所有数据操作类型中任意操作类型的选择信号时，获取选择的第一操作类型对应的第一数据；
    将所述第一数据确定为所述埋点数据。
  17. 如权利要求15所述的存储介质，其特征在于，当接收到埋点数据时，所述至少一个计算机可读指令被处理器执行还用以实现以下步骤：
    调用配置接口；
    通过所述配置接口连接到配置服务器；
    将所述埋点数据发送至所述配置服务器。
  18. 如权利要求16所述的存储介质，其特征在于，所述至少一个计算机可读指令被处理器执行以实现所述从所述消息队列中获取预设类型的目标埋点数据时，包括以下一种或者多种方式的组合：
    显示所述第一操作类型的所有子操作类型，当接收到对所述所有子操作类型中任意操作类型的选择信号时，获取选择的所述预设类型对应的第二数据，将所述第二数据确定为所述目标埋点数据；及/或
    确定标记的操作类型作为所述预设类型，获取所述预设类型对应的第二数据，将所述第二数据确定为所述目标埋点数据。
  19. 如权利要求15所述的存储介质，其特征在于，所述至少一个计算机可读指令被处理器执行以实现所述对所述目标埋点数据进行解析，生成数据表时，包括以下步骤：
    连接至少一个服务器，以所述至少一个服务器对所述目标埋点数据进行解析，生成数据表。
  20. 如权利要求15所述的存储介质，其特征在于，所述至少一个计算机可读指令被处理器执行以实现所述对所述目标埋点数据进行解析，生成数据表时，还包括以下步骤：
    采用FastJson技术或者GSON技术解析所述目标埋点数据，得到所述目标埋点数据中各个数据间的关系；
    基于所述目标埋点数据中各个数据间的关系建立所述数据表。
PCT/CN2019/118140 2019-09-18 2019-11-13 数据存储方法、装置、电子设备及存储介质 WO2021051589A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201910881337.0 2019-09-18
CN201910881337.0A CN110825731B (zh) 2019-09-18 2019-09-18 数据存储方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
WO2021051589A1 true WO2021051589A1 (zh) 2021-03-25

Family

ID=69547989

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2019/118140 WO2021051589A1 (zh) 2019-09-18 2019-11-13 数据存储方法、装置、电子设备及存储介质

Country Status (2)

Country Link
CN (1) CN110825731B (zh)
WO (1) WO2021051589A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11922026B2 (en) 2022-02-16 2024-03-05 T-Mobile Usa, Inc. Preventing data loss in a filesystem by creating duplicates of data in parallel, such as charging data in a wireless telecommunications network

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111523073A (zh) * 2020-04-23 2020-08-11 深圳市商汤科技有限公司 数据的管理方法、装置、电子设备以及存储介质
CN112416945A (zh) * 2020-12-07 2021-02-26 恩亿科(北京)数据科技有限公司 基于大数据平台的数据处理方法、系统和计算机设备
CN114168430A (zh) * 2022-01-06 2022-03-11 携程旅游网络技术（上海）有限公司 前端异常告警配置方法、系统、设备及存储介质
CN115134352B (zh) * 2022-06-27 2023-06-20 重庆长安汽车股份有限公司 一种埋点数据上传方法、装置、设备及介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017084508A1 (zh) * 2015-11-17 2017-05-26 阿里巴巴集团控股有限公司 自动埋点方法和装置
CN106790718A (zh) * 2017-03-16 2017-05-31 北京搜狐新媒体信息技术有限公司 服务调用链路分析方法及系统
CN108156006A (zh) * 2016-12-05 2018-06-12 阿里巴巴集团控股有限公司 一种埋点数据上报方法、装置及电子设备
CN109582827A (zh) * 2018-11-30 2019-04-05 深圳市小牛普惠投资管理有限公司 无埋点数据采集方法、装置、计算机设备以及存储介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107992506B (zh) * 2016-10-27 2021-09-03 北京京东尚科信息技术有限公司 信息处理方法及装置
CN107995266A (zh) * 2017-11-22 2018-05-04 平安科技（深圳）有限公司 埋点数据处理方法、装置、计算机设备和存储介质
CN108595450B (zh) * 2017-11-29 2021-06-04 五八有限公司 一种埋点数据库构建方法、埋点数据库及埋点查询方法
CN108874559A (zh) * 2018-05-31 2018-11-23 康键信息技术（深圳）有限公司 电子装置、分布式系统业务链路分析方法及存储介质
CN110060118A (zh) * 2019-02-27 2019-07-26 浙江执御信息技术有限公司 一种订单履约全链路实时监控方法、装置及计算机设备
CN110147398B (zh) * 2019-04-25 2020-05-15 北京字节跳动网络技术有限公司 一种数据处理方法、装置、介质和电子设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017084508A1 (zh) * 2015-11-17 2017-05-26 阿里巴巴集团控股有限公司 自动埋点方法和装置
CN108156006A (zh) * 2016-12-05 2018-06-12 阿里巴巴集团控股有限公司 一种埋点数据上报方法、装置及电子设备
CN106790718A (zh) * 2017-03-16 2017-05-31 北京搜狐新媒体信息技术有限公司 服务调用链路分析方法及系统
CN109582827A (zh) * 2018-11-30 2019-04-05 深圳市小牛普惠投资管理有限公司 无埋点数据采集方法、装置、计算机设备以及存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11922026B2 (en) 2022-02-16 2024-03-05 T-Mobile Usa, Inc. Preventing data loss in a filesystem by creating duplicates of data in parallel, such as charging data in a wireless telecommunications network

Also Published As

Publication number Publication date
CN110825731A (zh) 2020-02-21
CN110825731B (zh) 2023-10-24

Similar Documents

Publication Publication Date Title
WO2021051589A1 (zh) 数据存储方法、装置、电子设备及存储介质
JP6865219B2 (ja) 連続クエリ処理におけるイベントバッチ処理、出力シーケンス化、およびログベースの状態記憶
US9672082B2 (en) Guaranteeing the event order for multi-stage processing in distributed systems
WO2020258290A1 (zh) 日志数据收集方法、日志数据收集装置、存储介质和日志数据收集系统
US20200004617A1 (en) Techniques for managing and analyzing log data
JP6850722B2 (ja) イベント処理のための動的に型付けされたビッグデータによるイベントの充実化
JP7230083B2 (ja) 地図サービステスト用の方法及び装置
CN104679598B (zh) 用于选择同步或异步进程间通信机制的系统和方法
WO2019127821A1 (zh) 可视化报表的制作方法、装置、终端设备及存储介质
CN111143286B (zh) 一种云平台日志管理方法及系统
CN106888236B (zh) 会话管理方法及会话管理装置
JP6564532B2 (ja) クライアント−サーバトランザクションをアノテーションするためのシステム及び方法
CN111352800A (zh) 大数据集群监控方法及相关设备
CN111078695B (zh) 计算企业内元数据关联关系的方法及装置
CN112527848B (zh) 基于多数据源的报表数据查询方法、装置、系统及存储介质
US10567250B2 (en) End-to-end tracing providers and session management
US10574765B2 (en) Method, device, and non-transitory computer-readable recording medium
US20150332280A1 (en) Compliant auditing architecture
WO2022073513A1 (zh) 信息录入辅助方法、装置、电子设备及存储介质
CN114125015A (zh) 一种数据采集方法及系统
US10749802B2 (en) Channeling elements in an analytics engine environment
WO2022151614A1 (zh) 数据迁移方法、装置、设备及存储介质
WO2022078347A1 (zh) 任务调度方法、装置、电子设备及存储介质
CN109828885B (zh) RocketMQ内存监控方法、装置、电子设备及存储介质
CN114518984A (zh) 一种埋点信息的上报方法、装置、存储介质及终端设备

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19945895

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19945895

Country of ref document: EP

Kind code of ref document: A1