WO2021189953A1 - 日志数据处理方法、装置、计算机设备和存储介质 - Google Patents

日志数据处理方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
WO2021189953A1
WO2021189953A1 PCT/CN2020/135248 CN2020135248W WO2021189953A1 WO 2021189953 A1 WO2021189953 A1 WO 2021189953A1 CN 2020135248 W CN2020135248 W CN 2020135248W WO 2021189953 A1 WO2021189953 A1 WO 2021189953A1
Authority
WO
WIPO (PCT)
Prior art keywords
log
query
analysis
log query
information
Prior art date
Application number
PCT/CN2020/135248
Other languages
English (en)
French (fr)
Inventor
马晓龙
祁明远
Original Assignee
平安科技（深圳）有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 平安科技（深圳）有限公司 filed Critical 平安科技（深圳）有限公司
Publication of WO2021189953A1 publication Critical patent/WO2021189953A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/1805—Append-only file systems, e.g. using logs or journals to store data
    • G06F16/1815—Journaling file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/14—Details of searching files based on file metadata
    • G06F16/148—File search processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/14—Details of searching files based on file metadata
    • G06F16/156—Query results presentation

Definitions

  • This application relates to the field of digital medical technology, and in particular to a log data processing method, device, computer equipment and storage medium.
  • log data plays a very important role; for example, log data can be used for performance analysis, abnormality analysis, and abnormal location and troubleshooting.
  • the inventor realizes that the existing log query system is generally suitable for small-scale medical platform or medical database cluster system log query, but when faced with massive log data across multiple platforms or multiple different middleware clusters, the existing The log query system cannot quickly retrieve useful log data from massive data, which leads to inconvenience and low efficiency in the processing of log data.
  • This application provides a log data processing method, the method includes:
  • This application also provides a log data processing device, which includes:
  • the query operation receiving module is configured to receive log query operations, and obtain corresponding dimensional information and query time periods on a preset log query page according to the log query operations;
  • the log query module is configured to query the log query result corresponding to the log query operation in the target database system according to the dimensional information and the query time period;
  • the analysis information display module is configured to generate log analysis information according to the log query result, and display the log analysis information on the log query page.
  • the application also provides a computer device, which includes a memory and a processor;
  • the memory is used to store a computer program
  • the processor is configured to execute the computer program and implement the following steps when the computer program is executed:
  • the present application also provides a computer-readable storage medium, the computer-readable storage medium stores a computer program, and when the computer program is executed by a processor, the processor implements the following steps:
  • This application discloses a log data processing method, device, computer equipment, and storage medium.
  • the corresponding dimension information and query time period can be obtained on the preset log query page according to the log query operation, and the dimensional information and query time period can be subsequently obtained according to the log query operation.
  • Query log data by querying the log query results corresponding to the log query operation in the target database system according to the dimensional information and query time period, the required log data can be quickly retrieved from the massive log data, which improves the medical platform
  • the convenience and efficiency of log query in the medical platform has further improved the convenience and efficiency of log data processing in the medical platform; by generating log analysis information according to the log query results, and displaying the log analysis information on the log query page, it can be directly in the log
  • the query page displays log analysis information, enabling more intuitive log analysis, and further improving the convenience and efficiency of log data processing in the medical platform.
  • FIG. 1 is a schematic flowchart of a log data processing method provided by an embodiment of the present application
  • FIG. 2 is a schematic diagram of the structure of a subsystem, a cluster, and an instance provided by an embodiment of the present application;
  • FIG. 3 is a schematic flowchart of the sub-steps of obtaining dimensional information and query time period provided by an embodiment of the present application
  • FIG. 4 is a schematic block diagram of a log query page provided by an embodiment of the present application.
  • FIG. 5 is a schematic block diagram of triggering a query button on a log query page according to an embodiment of the present application
  • FIG. 6 is a schematic flowchart of sub-steps of query log query results provided by an embodiment of the present application.
  • FIG. 7 is a schematic flowchart of the sub-steps of generating log analysis information provided by an embodiment of the present application.
  • FIG. 8 is a schematic flowchart of sub-steps of updating log analysis information provided by an embodiment of the present application.
  • FIG. 9 is a schematic block diagram of a handover function analysis option provided by an embodiment of the present application.
  • FIG. 10 is another schematic block diagram of triggering a query button in a log query page according to an embodiment of the present application.
  • FIG. 11 is a schematic block diagram of a log data processing device provided by an embodiment of the present application.
  • FIG. 12 is a schematic block diagram of the structure of a computer device provided by an embodiment of the present application.
  • the embodiments of the present application provide a log data processing method, device, computer equipment, and storage medium.
  • the log data processing method can be applied to a server or a terminal.
  • log analysis information can be generated according to the log query results and the log query page displays the log analysis information, which improves medical care. Convenience and efficiency of log data processing in the platform.
  • the server can be an independent server or a server cluster.
  • the terminal can be an electronic device such as a smart phone, a tablet computer, a notebook computer, and a desktop computer.
  • the log data processing method includes steps S10 to S30.
  • Step S10 Receive a log query operation, and obtain corresponding dimensional information and query time period on a preset log query page according to the log query operation.
  • FIG. 2 is a schematic diagram of a structure of a subsystem, a cluster, and an instance provided by an embodiment of the present application, where cluster represents a cluster, and instance represents an instance.
  • the ucmdb Universal CMDB, unified CMDB and application mapping
  • the ucmdb Universal CMDB, unified CMDB and application mapping
  • the dimension information may include dimension levels and dimension names; where the dimension levels include subsystems, clusters, and instances; and the dimension names refer to the names corresponding to dimensions such as subsystems, clusters, and instances.
  • log data corresponding to different subsystems can be queried; wherein, each subsystem may include multiple clusters, and each cluster may include multiple instances.
  • the dimension name when the dimension level is a subsystem, the dimension name includes the name corresponding to the subsystem, for example, subsystem A, that is, to query the log data of all clusters in subsystem A.
  • the dimension level when the dimension level is cluster, the dimension name includes the name corresponding to the subsystem and the name corresponding to the cluster. For example, subsystem A and cluster A-1 in subsystem A can be queried for cluster A-1 in subsystem A. Log data of all instances.
  • the dimension name when the dimension level is an instance, the dimension name includes the names of the dimensions corresponding to the subsystem, cluster, and instance, for example, subsystem A, cluster A-1, and instance A-1-1. At this time, it is in cluster A of subsystem A. -1 to query the log data of instance A-1-1.
  • FIG. 3 is a schematic flowchart of the sub-steps of receiving the log query operation in step S10, and obtaining corresponding dimensional information and query time period on the preset log query page according to the log query operation, which may specifically include The following steps S101 and S102.
  • Step S101 Receive a dimension selection operation of a user on the log query page, and determine the dimension information according to the dimension selection operation.
  • FIG. 4 is a schematic block diagram of a log query page provided by an embodiment of the present application.
  • the log query operation may include dimension selection operation and time selection operation. For example, first select the dimension information to be queried on the log query page, and then enter the query time period.
  • the dimension selection operation refers to the operation of selecting dimensions such as subsystems, clusters, and instances in the dimension selection box on the log query page.
  • the time selection operation refers to the operation of selecting the time in the start time box and the end time box on the log query page.
  • the dimension information corresponding to the log query operation is determined according to the dimension selection operation.
  • the dimensional information includes the subsystem ICSS-GCCIB-INSUR.
  • the dimension information includes the subsystem ICSS-GCCIB-INSUR and the cluster icss-gccib -insurPRDCluster20901.
  • the dimension information includes the subsystem ICSS-GCCIB- INSUR, cluster icss-gccib-insurPRDCluster20901 and instance icss-gccib_nrWEB48953.
  • Step S102 Obtain the time selection operation of the user in the log query page, and determine the query time period according to the time selection operation.
  • the user can enter the start time in the start time box on the log query page, and enter the end time in the end time box.
  • the start time input by the user in the start time box and the end time input in the end time box of the log query page are acquired, and the query time period is determined according to the start time and the end time.
  • the corresponding log query operation can be determined according to the start time T1 and the end time T2
  • the query time period is T2-T1.
  • the dimension information corresponding to the log query operation can be determined according to the dimension selection operation.
  • the start time and end time can be The time determines the query time period corresponding to the log query operation.
  • Step S20 Query the log query result corresponding to the log query operation in the target database system according to the dimensional information and the query time period.
  • the method may further include: obtaining formatted log data; and extracting formatted log data.
  • the field names and field values corresponding to the log data are generated to generate the key-value pair set corresponding to the formatted log data; the preset dimension information label is added to the key-value pair set to obtain the key-value pair set carrying the dimension information label, and
  • the key-value pair set carrying the dimension information label is stored in the target database system.
  • the dimension information label may include three fields of appname, cluster, and instance.
  • the appname field represents the name of the subsystem
  • the cluster field represents the cluster name
  • the instance field represents the instance name.
  • log data in each subsystem, cluster, and instance can be collected in advance, and the collected log data can be formatted to obtain formatted log data.
  • the field name and field value corresponding to the log data can be extracted by the field extractor.
  • the field extractor may include a Grok function or a json parsing function.
  • the field name and field value in the log data can be extracted through the Grok function or the json parsing function, and a key-value pair set can be generated according to the field name and field value. It is understandable that each piece of log data generates a set of key-value pairs.
  • the field name can include but is not limited to source (log source host name), acc_api (requested functional interface name), acc_bytes (request return data size), acc_clientip (initiating request ip address), acc_date (initiating request date) , Acc_method (request method), acc_serverip (provide the requested ip: port), acc_status (request return status code), acc_time (request time), acc_time_cost (request time), acc_um (initiate request user name) and so on.
  • one of the generated key-value pairs set can be expressed as: ⁇ source: SZC-L50; acc_api: /gcc/js/tree2.js; acc_bytes: 1626; acc_clientip: 10.159.229.25; acc_date: 2020-07- 25; acc_method: POST; acc_serverip: 30.181.225.18; acc_status: 200; acc_time: 12:10:50; acc_time_cost: 0.003; acc_um: HUYUANMEI500 ⁇ .
  • a preset dimension information label may be added to the set of key-value pairs.
  • adding dimension information tags to the aforementioned key-value pair set where the dimension information may include the subsystem name ICSS-GCCIB-INSUR, the cluster name icss-gccib-insurPRDCluster20901, and the instance name icss-gccib_nrWEB48953.
  • a set of key-value pairs carrying dimension information tags can be expressed as: ⁇ source: SZC-L50; acc_api: /gcc/js/tree2.js; acc_bytes: 1626; acc_clientip: 10.159.229.25; acc_date: 2020-07 -25; acc_method: POST; acc_serverip: 30.181.225.18; acc_status: 200; acc_time: 12:10:50; acc_time_cost: 0.003; acc_um: HUYUANMEI500; appname: ICSS-GCCIB-INSUR; cluster: icss-gccib-insurPRDCluster20901; instance : Icss-gccib_nrWEB48953 ⁇ .
  • the target database system may include an ES (Elastic Search) system.
  • ES Elastic Search
  • the ES system is a distributed and scalable real-time search and analysis engine. It is a search engine based on the full-text search engine Apache Lucene. Among them, the ES system supports real-time file storage and real-time file search, and can store data in JSON format.
  • a set of key-value pairs carrying dimension information tags can be stored in the ES system, so that related log data can be directly queried from the ES system for analysis and processing.
  • a key-value pair set corresponding to the formatted log data is generated, and a preset dimension information label is added to the key-value pair set, and subsequently in the log query,
  • the target key-value pair can be determined quickly and conveniently according to the dimensional information, and there is no need to format the key-value pair, which can improve the efficiency and convenience of log query.
  • the target database system is queried according to the dimension information and the query time period to obtain the log query result corresponding to the log query operation.
  • FIG. 5 is a schematic block diagram of triggering a query button in a log query page according to an embodiment of the present application.
  • FIG. 6 is a schematic flowchart of the sub-steps of querying the log query result corresponding to the log query operation in the target database system according to the dimension information and the query time period in step S20, which may specifically include the following steps S201 to S203.
  • Step S201 When a trigger operation based on the query button in the log query page is detected, generate a data query request according to the dimension information and the query time period, wherein the data query request includes dimension information and query time part.
  • a data query request when querying log data, a data query request needs to be sent to the target database system.
  • a data query request may be generated according to the dimensional information and the query time period, and the generated data query request includes the dimensional information and the query time period.
  • the dimension information is used to determine the dimension level and dimension name of the log data; the query time period is used to determine the time range of the log data.
  • Step S202 Send the data query request to the target database system, so that the target database system uses the key carrying the dimensional information tag according to the dimensional information and query time period in the data query request.
  • the target key-value pair set is determined in the value pair set, and the target key-value pair set is returned.
  • the data query request can be sent to the target database system through the query interface connected to the target database system.
  • the target database system may determine the target key-value pair set from the key-value pair set carrying the dimension information tag according to the dimension information in the data query request and the query time period.
  • the target database system can search and carry the dimension information tag as ⁇ appname :ICSS-GCCIB-INSUR; cluster: icss-gccib-insurPRDCluster20901; instance: icss-gccib_nrWEB48953 ⁇ key-value pair collection; then filter the searched key-value pair collection according to the query time period in the data query request, and filter The obtained key-value pair is used as the target key-value pair.
  • the target database system may also perform a preliminary screening of the key-value pairs carrying dimension information tags according to the query time period in the data query request, and then perform preliminary screening of the key-value pairs obtained from the preliminary screening according to the dimension information in the data query request. Search, the key-value pair obtained from the search is used as the target key-value pair.
  • the target database system can return the target key-value pair set through the query interface.
  • Step S203 Receive the target key-value pair set returned by the target database system, and use the target key-value pair set as the log query result.
  • the target key-value pair set is used as the log query result, so that the log query result can be subsequently loaded to the log query page.
  • the above log query results may also be stored in a node of a blockchain.
  • the target database system can quickly determine the target key-value pair set in the key-value pair set carrying the dimension information label according to the dimension information and the query time period, and achieve a rapid search
  • the required log data can be obtained by querying the massive log data, which improves the convenience and efficiency of log query in the medical platform, and further improves the convenience and efficiency of log data processing in the medical platform.
  • Step S30 Generate log analysis information according to the log query result, and display the log analysis information on the log query page.
  • the log query result can be loaded to the log query page.
  • loading may include operations such as generating log analysis information according to the log query result and rendering it to the log query page.
  • the background can analyze and process the log query results according to the current functional analysis options in the log query page to obtain log analysis information; and then render the log analysis information to the log query page.
  • the log analysis information may include, but is not limited to, performance analysis information, anomaly analysis information, trend analysis information, instance analysis information, user behavior analysis information, and so on.
  • FIG. 7 is a schematic flowchart of the sub-steps of generating log analysis information according to the log query result in step S30, which may specifically include the following steps S301 to S303.
  • Step S301 Determine the current function analysis option in the log query page.
  • the log query page includes multiple function analysis options.
  • the function analysis options may include, but are not limited to, performance analysis options, abnormal analysis options, trend analysis options, instance analysis options, and user behavior analysis options.
  • the current function analysis option in the log query page can be determined according to the user's selection operation of the function analysis option.
  • the current function analysis option on the log query page is the performance analysis option by default.
  • the current function analysis option in the log query page can be determined according to the user's operation.
  • the switched function analysis option is an abnormal analysis option.
  • the log query result can be analyzed and processed according to the analysis strategy corresponding to the current function analysis option, so that the log analysis information corresponding to the log query result can be obtained.
  • Step S302 Determine the target analysis strategy corresponding to the current function analysis option based on the preset correspondence between the function analysis option and the analysis strategy.
  • different functional analysis options correspond to different analysis strategies.
  • the analysis strategy is used to analyze and process log query results.
  • different analysis strategies can be implemented by calling different program codes.
  • the program code can be written in advance according to the function type corresponding to the function analysis option.
  • the analysis strategy can implement cluster analysis, factor analysis, correlation analysis, correspondence analysis, regression analysis, and variance analysis on log query results.
  • the correspondence between the functional analysis options and the analysis strategy may be preset, and the correspondence information between the functional analysis options and the analysis strategy may be stored in the local database.
  • the correspondence information between the above functional analysis options and the analysis strategy can also be stored in a blockchain node middle.
  • the analysis strategy may include analysis strategy A, analysis strategy B, analysis strategy C, and so on.
  • the analysis strategy A As a target analysis strategy.
  • the analysis strategy corresponding to the abnormal analysis option is analysis strategy B, then the analysis strategy B As a target analysis strategy.
  • Step S303 Analyze and process the log query result according to the target analysis strategy to obtain the log analysis information.
  • the log query results can be analyzed and processed according to analysis strategy A to obtain performance analysis information.
  • the log query results can be trended according to analysis strategy B to obtain trend analysis information.
  • the log analysis information can be rendered to the log query page to display the log analysis information on the log query page.
  • the log analysis information displayed on the log query page can be displayed in the form of a histogram, scatter chart, fishbone chart, histogram, radar chart, trend chart, and table.
  • rendering refers to the process of analyzing various resources or data through a browser rendering engine to output a visualized image or webpage.
  • the browser rendering engine includes modules such as HTML parser, CSS parser, layout, and JavaScript engine.
  • the log analysis information of each system, cluster or instance can be quickly displayed, realizing more intuitive log analysis, and further improving the efficiency and convenience of log data processing.
  • step S30 after the log analysis information is displayed on the log query page in step S30, the following steps S304 to S306 may also be included.
  • Step S304 When a user switching operation of the function analysis option in the log query page is received, determine the switched function analysis option in the log query page according to the switching operation.
  • the user can switch the function analysis option on the log query page and trigger the query button to display the log analysis information corresponding to different function analysis selections on the log query page.
  • the log query can be determined according to the switching operation.
  • the functional analysis option is an abnormal analysis option.
  • FIG. 9 is a schematic block diagram of switching function analysis options in a log query page according to an embodiment of the present application.
  • Step S305 When receiving a user's trigger operation on the query button of the log query page, determine the second target analysis strategy corresponding to the switched function analysis option.
  • FIG. 10 is another schematic block diagram of triggering a query button in a log query page provided by an embodiment of the present application.
  • the log query page corresponding to the switched function analysis option displays the log analysis information corresponding to the previous function analysis option; only when the user triggers the query button, will the query be re-checked
  • the log query result is analyzed and processed to obtain the log analysis information to be updated, and load the log analysis information to be updated to the log query page.
  • the second target analysis strategy corresponding to the switched function analysis option may be determined based on the preset correspondence between the function analysis option and the analysis strategy.
  • the switched functional analysis option is an abnormal analysis option
  • the abnormal analysis option corresponds to the analysis strategy B
  • it can be determined that the second target analysis strategy is the analysis strategy B.
  • the switched function analysis option is a trend analysis option
  • the trend analysis option corresponds to the analysis strategy C
  • it can be determined that the second target analysis strategy is the analysis strategy C.
  • Step S306 Analyze and process the log query result according to the second target analysis strategy to obtain log analysis information to be updated, and display the log analysis information to be updated on the log query page.
  • the switched function analysis option in the log query page is trend analysis information
  • the second target analysis strategy is analysis strategy B
  • the log query results can be trended according to analysis strategy B to obtain trend analysis information .
  • the trend analysis information is displayed on the log query page.
  • the dimension information is re-determined according to the dimension selection operation; if it is detected to obtain the start time and end time entered by the user on the log query page, The start time and end time re-determine the query time period.
  • the user triggers the query button on the log query page
  • the dimension information and/or query time period in the log query page changes, it is necessary to regenerate the data query request based on the dimension information and the query time period , And send the data query request to the target database system to obtain the latest log query result.
  • the latest log query result is analyzed and processed to obtain log analysis information to be updated; the log analysis information to be updated is rendered to the log query page.
  • the performance analysis information is displayed on the log query page.
  • the log query page can display the cluster's overall request volume, success status, response time per minute trend information within a specified time, as well as the interface name, request volume, abnormal volume, abnormal rate, and average response of each requested function Performance analysis information such as time and request time-consuming.
  • the user can also click on the interface name of the function to view each request data information of the interface within a specified time, and then can directly check whether there is a user request trigger amount, time-consuming abnormality, or some server response abnormality.
  • the abnormal analysis information is displayed on the log query page.
  • the new error report of the subsystem on the day can be displayed on the log query page, and abnormal analysis information such as email alarms can be supported.
  • abnormal analysis information such as email alarms
  • the user can be reminded to confirm whether the error message will affect the production business.
  • the user clicks on the error message the detailed information compared with the historical error log can be displayed on the log query page.
  • the log analysis information to be updated is displayed on the log query page
  • the switched function analysis option is a trend analysis option
  • the trend analysis information is displayed on the log query page.
  • trend analysis information such as sudden changes in the performance of each interface within a specified time period can be displayed on the log query page, and the performance change of the system interface can be prompted.
  • the log analysis information to be updated is displayed on the log query page
  • the switched function analysis option is an instance analysis option
  • the instance analysis information is displayed on the log query page.
  • instance analysis information such as the acceptance request status, average response time, and abnormal rate information of each instance can be displayed on the log query page, and the system instance load and health status can be prompted.
  • the log analysis information to be updated is displayed on the log query page
  • the switched function analysis option is a user behavior analysis option
  • the user behavior analysis information is displayed on the log query page.
  • user behavior analysis information such as the number of online users in the current time period, the access status of each user, and the average response time and abnormal rate of each user request can be displayed on the log query page.
  • the log analysis information is regenerated according to the switched function analysis option and displayed on the log query page, which improves the efficiency of log data processing and can also make the user more Conveniently and intuitively obtain log analysis information.
  • the dimension information corresponding to the log query operation can be determined according to the dimension selection operation, and the starting time and the input time of the user on the log query page can be obtained. End time, the query time period corresponding to the log query operation can be determined according to the start time and end time; by extracting the field names and field values corresponding to the formatted log data, the key-value pair set corresponding to the formatted log data is generated , And add preset dimension information tags to the key-value pair collection.
  • the target key-value pair can be quickly and conveniently determined according to the dimension information, and there is no need to format the key-value pair, which can improve The efficiency and convenience of log query; by determining the current function analysis options in the log query page, the target analysis strategy can be determined according to the function analysis selection during log query; by generating data query requests based on dimensional information and query time period, you can make The target database system quickly determines the target key-value pair set in the key-value pair set carrying the dimension information label according to the dimension information and the query time period, and realizes the fast query and acquisition of the required log data from the massive log data, which improves
  • the convenience and efficiency of log query in the medical platform improves the convenience and efficiency of log data processing in the medical platform; by rendering log analysis information to the log query page, the logs of each system, cluster or instance can be quickly displayed Analyze information to achieve more intuitive log analysis, and further improve the efficiency and convenience of log data processing; through the user's switching operation of the function analysis option and the trigger operation of the query button, the log
  • FIG. 11 is a schematic block diagram of a log data processing apparatus 100 according to an embodiment of the present application.
  • the log data processing apparatus is configured to execute the aforementioned log data processing method.
  • the log data processing device can be configured in a server or a terminal.
  • the log data processing device 100 includes: a query operation receiving module 101, a log query module 102, and an analysis information display module 103.
  • the query operation receiving module 101 is configured to receive a log query operation, and obtain corresponding dimensional information and query time period on a preset log query page according to the log query operation.
  • the log query module 102 is configured to query the log query result corresponding to the log query operation in the target database system according to the dimensional information and the query time period.
  • the analysis information display module 103 is configured to generate log analysis information according to the log query result, and display the log analysis information on the log query page.
  • the above-mentioned apparatus may be implemented in the form of a computer program, and the computer program may run on the computer device as shown in FIG. 12.
  • FIG. 12 is a schematic block diagram of a structure of a computer device provided by an embodiment of the present application.
  • the computer equipment can be a server or a terminal.
  • the computer device includes a processor and a memory connected through a system bus, where the memory may include a non-volatile storage medium and an internal memory.
  • the processor is used to provide computing and control capabilities and support the operation of the entire computer equipment.
  • the internal memory provides an environment for the operation of the computer program in the non-volatile storage medium.
  • the processor can execute any log data processing method.
  • the processor may be a central processing unit (Central Processing Unit, CPU), and the processor may also be other general-purpose processors, digital signal processors (Digital Signal Processors, DSPs), and application specific integrated circuits (Application Specific Integrated Circuits). Circuit, ASIC), Field-Programmable Gate Array (FPGA) or other programmable logic devices, discrete gates or transistor logic devices, discrete hardware components, etc.
  • the general-purpose processor may be a microprocessor or the processor may also be any conventional processor.
  • the processor is used to run a computer program stored in a memory to implement the following steps:
  • Receive a log query operation obtain corresponding dimensional information and query time period on the preset log query page according to the log query operation; query the log query in the target database system according to the dimensional information and the query time period Operate the corresponding log query result; generate log analysis information according to the log query result, and display the log analysis information on the log query page.
  • the log query operation includes a dimension selection operation and a time selection operation; the processor is implementing the receiving log query operation, and according to the log query operation, obtains corresponding dimension information and information on a preset log query page. When querying the time period, it is used to achieve:
  • Receive the dimension selection operation of the user in the log query page determine the dimension information according to the dimension selection operation; obtain the time selection operation of the user in the log query page, and determine the query according to the time selection operation period.
  • the processor before the processor realizes that the log query result corresponding to the log query operation is queried in the target database system according to the dimensional information and the query time period, the processor is further configured to implement:
  • the log query page includes at least one function analysis option; the processor is in the process of querying the log corresponding to the log query operation in the target database system according to the dimensional information and the query time period. When querying the results, it is used to achieve:
  • a data query request is generated according to the dimensional information and the query time period, where the data query request includes the dimensional information and the query time period;
  • the data query request is sent to the target database system, so that the target database system is in the key-value pair set carrying the dimensional information tag according to the dimensional information and query time period in the data query request Determine a target key-value pair set, and return the target key-value pair set; receive the target key-value pair set returned by the target database system, and use the target key-value pair set as the log query result.
  • the processor when the processor realizes generating log analysis information according to the log query result, it is used to realize:
  • the processor after the processor realizes the display of the log analysis information on the log query page, the processor is further configured to realize:
  • the processor when the processor realizes that the log analysis information to be updated is displayed on the log query page, it is used to realize:
  • the functional analysis option after the switch is a performance analysis option
  • the performance analysis information is displayed on the log query page; if the functional analysis option after the switch is an abnormal analysis option, then the abnormal analysis is displayed on the log query page Information; if the functional analysis option after the switch is a trend analysis option, the trend analysis information is displayed on the log query page; if the functional analysis option after the switch is an instance analysis option, it is displayed on the log query page Instance analysis information; if the functional analysis option after the switch is a user behavior analysis option, the user behavior analysis information is displayed on the log query page.
  • the embodiments of the present application also provide a computer-readable storage medium.
  • the computer-readable storage medium may be non-volatile or volatile.
  • the computer-readable storage medium stores a computer program.
  • the computer program includes program instructions, and the processor executes the program instructions to implement any log data processing method provided in the embodiments of the present application.
  • the computer-readable storage medium may be the internal storage unit of the computer device described in the foregoing embodiment, for example, the hard disk or memory of the computer device.
  • the computer-readable storage medium may also be an external storage device of the computer device, such as a plug-in hard disk, a smart media card (SMC), or a secure digital card equipped on the computer device. , SD Card, Flash Card, etc.
  • the computer-readable storage medium may mainly include a storage program area and a storage data area, where the storage program area may store an operating system, an application program required by at least one function, etc.; the storage data area may store Data created by the use of nodes, etc.
  • the blockchain referred to in this application is a new application mode of computer technology such as distributed data storage, point-to-point transmission, consensus mechanism, and encryption algorithm.
  • Blockchain essentially a decentralized database, is a series of data blocks associated with cryptographic methods. Each data block contains a batch of network transaction information for verification. The validity of the information (anti-counterfeiting) and the generation of the next block.
  • the blockchain can include the underlying platform of the blockchain, the platform product service layer, and the application service layer.

Abstract

一种日志数据处理方法、装置、计算机设备和存储介质，该方法包括：接收日志查询操作，根据所述日志查询操作在预设的日志查询页面获取对应的维度信息和查询时间段（S10）；根据所述维度信息与所述查询时间段在目标数据库系统中查询到所述日志查询操作对应的日志查询结果（S20）；根据所述日志查询结果生成日志分析信息，并将所述日志分析信息显示在所述日志查询页面上（S30）。该方法涉及数字医疗技术领域，通过根据维度信息和查询时间段查询日志查询结果，可以根据日志查询结果生成日志分析信息并在日志查询页面显示日志分析信息，提高了医疗平台中日志数据处理的便捷性和效率。此外，该方法还涉及区块链技术，日志查询结果可存储于区块链中。

Description

日志数据处理方法、装置、计算机设备和存储介质
本申请要求于2020年10月12日提交中国专利局、申请号为2020110863277，发明名称为“日志数据处理方法、装置、计算机设备和存储介质”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。
技术领域
本申请涉及数字医疗技术领域，尤其涉及一种日志数据处理方法、装置、计算机设备和存储介质。
背景技术
在医疗平台的开发过程中，日志数据具有非常重要的作用；例如，通过日志数据可以进行性能分析、异常分析以及异常定位排查等等。发明人意识到现有的日志查询系统一般适用于小规模的医疗平台或医疗数据库集群系统的日志查询，但在面对跨多个平台或多个不同中间件集群的海量日志数据时，现有的日志查询系统无法快速地从海量数据检索出有用的日志数据，导致在对日志数据的处理过程中的不够便捷和效率较低。
因此如何提高医疗平台中日志数据处理的便捷性和效率成为亟需解决的问题。
发明内容
本申请提供了一种日志数据处理方法，所述方法包括：
接收日志查询操作，根据所述日志查询操作在预设的日志查询页面获取对应的维度信息和查询时间段；
根据所述维度信息与所述查询时间段在目标数据库系统中查询到所述日志查询操作对应的日志查询结果；
根据所述日志查询结果生成日志分析信息，并将所述日志分析信息显示在所述日志查询页面上。
本申请还提供了一种日志数据处理装置，所述装置包括：
查询操作接收模块，用于接收日志查询操作，根据所述日志查询操作在预设的日志查询页面获取对应的维度信息和查询时间段；
日志查询模块，用于根据所述维度信息与所述查询时间段在目标数据库系统中查询到所述日志查询操作对应的日志查询结果；
分析信息显示模块，用于根据所述日志查询结果生成日志分析信息，并将所述日志分析信息显示在所述日志查询页面上。
本申请还提供了一种计算机设备，所述计算机设备包括存储器和处理器；
所述存储器，用于存储计算机程序；
所述处理器，用于执行所述计算机程序并在执行所述计算机程序时实现如下步骤：
接收日志查询操作，根据所述日志查询操作在预设的日志查询页面获取对应的维度信息和查询时间段；
根据所述维度信息与所述查询时间段在目标数据库系统中查询到所述日志查询操作对应的日志查询结果；
根据所述日志查询结果生成日志分析信息，并将所述日志分析信息显示在所述日志查询页面上。
本申请还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时使所述处理器实现如下步骤：
接收日志查询操作，根据所述日志查询操作在预设的日志查询页面获取对应的维度信息和查询时间段；
根据所述维度信息与所述查询时间段在目标数据库系统中查询到所述日志查询操作对应的日志查询结果；
根据所述日志查询结果生成日志分析信息，并将所述日志分析信息显示在所述日志查询页面上。
本申请公开了一种日志数据处理方法、装置、计算机设备和存储介质，通过根据日志查询操作在预设的日志查询页面获取对应的维度信息和查询时间段，后续可以根据维度信息和查询时间段查询日志数据；通过根据维度信息与查询时间段在目标数据库系统中查询到日志查询操作对应的日志查询结果，实现了快速地从海量日志数据中查询获取到所需的日志数据，提高了医疗平台中日志查询的便捷性和效率，进而提高了医疗平台中日志数据处理的便捷性和效率；通过根据日志查询结果生成日志分析信息，并将日志分析信息显示在日志查询页面上，可以直接在日志查询页面显示日志分析信息，实现更加直观地进行日志分析，进一步提高了医疗平台中日志数据处理的便捷性和效率。
附图说明
为了更清楚地说明本申请实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请的实施例提供的一种日志数据处理方法的示意性流程图；
图2是本申请实施例提供的一种子系统、集群和实例的结构示意图；
图3是本申请实施例提供的获取维度信息和查询时间段的子步骤的示意性流程图；
图4是本申请实施例提供的一种日志查询页面的示意性框图；
图5是本申请实施例提供的一种在日志查询页面中触发查询按钮的示意性框图；
图6是本申请实施例提供的查询日志查询结果的子步骤的示意性流程图；
图7是本申请实施例提供的生成日志分析信息的子步骤的示意性流程图；
图8是本申请实施例提供的更新日志分析信息的子步骤的示意性流程图；
图9是本申请实施例提供的切换功能分析选项的示意性框图；
图10是本申请实施例提供的另一种在日志查询页面中触发查询按钮的示意性框图；
图11是本申请实施例提供的一种日志数据处理装置的示意性框图；
图12是本申请实施例提供的一种计算机设备的结构示意性框图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的 实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
附图中所示的流程图仅是示例说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解、组合或部分合并，因此实际执行的顺序有可能根据实际情况改变。
应当理解，在此本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。如在本申请说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
本申请的实施例提供了一种日志数据处理方法、装置、计算机设备和存储介质。其中，该日志数据处理方法可以应用于服务器或终端中，实现通过根据维度信息和查询时间段查询日志查询结果，可以根据日志查询结果生成日志分析信息并日志查询页面显示日志分析信息，提高了医疗平台中日志数据处理的便捷性和效率。
其中，服务器可以为独立的服务器，也可以为服务器集群。终端可以是智能手机、平板电脑、笔记本电脑和台式电脑等电子设备。
下面结合附图，对本申请的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。
如图1所示，日志数据处理方法包括步骤S10至步骤S30。
步骤S10、接收日志查询操作，根据所述日志查询操作在预设的日志查询页面获取对应的维度信息和查询时间段。
在本申请实施例中，可以通过ucmdb系统，将跨平台、多集群的集群子系统中的日志数据，按照子系统、集群、实例三个维度进行同一管理和对外提供日志查询。用户可以在ucmdb系统的日志查询页面查询日志数据。如图2所示，图2是本申请实施例提供的一种子系统、集群和实例的结构示意图，其中，cluster表示集群，instance表示实例。
需要说明的是，ucmdb(Universal CMDB，统一CMDB及应用映射)系统是一种业务可用性中心底层的支撑模块系统，主要用于管理存放所有的配置管理信息。
具体地，维度信息可以包括维度级别和维度名称；其中，维度级别包括子系统、集群以及实例；维度名称是指子系统、集群以及实例等维度对应的名称。在本申请实施例中，可以查询不同子系统对应的日志数据；其中，各子系统可以包括多个集群，各集群可以包括多个实例。
可以理解的是，当维度级别为子系统时，维度名称包括子系统对应的名称，例如子系统A，即查询子系统A中全部集群的日志数据。当维度级别为集群时，维度名称包括子系统对应的名称和集群对应的名称，例如子系统A与子系统A中的集群A-1，此时可以查询子系统A中的集群A-1的全部实例的日志数据。当维度级别为实例时，维度名称包括子系统、集群以及实例等维度对应的名称，例如，子系统A、集群A-1和实例A-1-1，此时是在子系统A的集群A-1中查询实例A-1-1的日志数据。
请参阅图3，图3是步骤S10中接收日志查询操作，根据所述日志查询操作 在预设的日志查询页面获取对应的维度信息和查询时间段的子步骤的示意性流程图，具体可以包括以下步骤S101和步骤S102。
步骤S101、接收用户在所述日志查询页面中的维度选中操作，根据所述维度选中操作确定所述维度信息。
请参阅图4，图4是本申请实施例提供的一种日志查询页面的示意性框图。
需要说明的是，当用户需要查询日志数据时，可以在日志查询页面中进行日志查询操作。其中，日志查询操作可以包括维度选中操作和时间选择操作。例如，先在日志查询页面中选中需要查询的维度信息，然后输入查询的时间段。
具体地，维度选中操作是指在日志查询页面的维度选择框中选择子系统、集群以及实例等维度的操作。时间选择操作是指在日志查询页面的起始时间框和结束时间框中选择时间的操作。
具体地，若接收用户在日志查询页面中的维度选中操作，则根据维度选中操作确定日志查询操作对应的维度信息，
示例性的，若接收到用户在日志查询页面中选中子系统ICSS-GCCIB-INSUR的操作，则可以确定维度信息包括子系统ICSS-GCCIB-INSUR。
示例性的，若接收到用户在日志查询页面中选中子系统ICSS-GCCIB-INSUR中的集群icss-gccib-insurPRDCluster20901的操作，则可以确定维度信息包括子系统ICSS-GCCIB-INSUR和集群icss-gccib-insurPRDCluster20901。
示例性的，若接收到用户在日志查询页面中选中子系统ICSS-GCCIB-INSUR下的集群icss-gccib-insurPRDCluster20901中的实例icss-gccib_nrWEB48953的操作，则可以确定维度信息包括子系统ICSS-GCCIB-INSUR、集群icss-gccib-insurPRDCluster20901和实例icss-gccib_nrWEB48953。
步骤S102、获取用户在所述日志查询页面中的时间选择操作，根据所述时间选择操作确定所述查询时间段。
需要说明的是，用户可以在日志查询页面中的起始时间框输入起始时间，以及在结束时间框输入结束时间。
具体地，获取用户在日志查询页面的起始时间框输入的起始时间和结束时间框输入的结束时间，根据起始时间和结束时间确定查询时间段。
示例性的，当获取用户在日志查询页面中的起始时间框输入的起始时间T1和在结束时间框输入的结束时间T2时，可以根据起始时间T1和结束时间T2确定日志查询操作对应的查询时间段为T2-T1。
通过接收用户在日志查询页面中的维度选中操作，可以根据维度选中操作确定日志查询操作对应的维度信息，通过获取用户在日志查询页面输入的起始时间和结束时间，可以根据起始时间和结束时间确定日志查询操作对应的查询时间段。
步骤S20、根据所述维度信息与所述查询时间段在目标数据库系统中查询到所述日志查询操作对应的日志查询结果。
在一些实施例中，步骤S20中根据维度信息与查询时间段在目标数据库系统中查询到日志查询操作对应的日志查询结果之前，还可以包括：获取格式化后的日志数据；提取格式化后的日志数据对应的字段名与字段值，生成格式化后的日志数据对应的键值对集合；对键值对集合添加预设的维度信息标签，得到携带维度信息标签的键值对集合，并将携带维度信息标签的键值对集合存储至目标数据库系统。
示例性的，维度信息标签可以包括appname、cluster和instance三个字段。 其中，appname字段表示子系统名称；cluster字段表示集群名称；instance字段表示实例名称。
需要说明的是，在本申请实施例中，可以预先采集各子系统、集群以及实例中的日志数据，并对采集的日志数据进行格式化处理，得到格式化后的日志数据。
具体地，可以通过字段提取器提取日志数据对应的字段名与字段值。其中，字段提取器可以包括Grok函数或者json解析函数，可以通过Grok函数或者json解析函数实现提取日志数据中的字段名与字段值，并根据字段名与字段值生成键值对集合。可以理解的是，每一条日志数据生成一个键值对集合。
其中，字段名可以包括但不限于source(日志来源主机名称)、acc_api(请求的功能接口名称)、acc_bytes(请求返回数据大小)、acc_clientip(发起请求的ip地址)、acc_date(发起请求的日期)、acc_method(请求方法)、acc_serverip(提供请求的ip:端口)、acc_status(请求返回状态码)、acc_time(请求的时间)、acc_time_cost(请求耗时)以及acc_um(发起请求用户名)等等。
示例性的，生成的其中一个键值对集合可以表示为：{source：SZC-L50；acc_api：/gcc/js/tree2.js；acc_bytes：1626；acc_clientip：10.159.229.25；acc_date：2020-07-25；acc_method：POST；acc_serverip：30.181.225.18；acc_status：200；acc_time：12:10:50；acc_time_cost：0.003；acc_um：HUYUANMEI500}。
示例性的，可以对键值对集合添加预设的维度信息标签。例如，对上述的键值对集合添加维度信息标签，其中，维度信息可以包括子系统名称ICSS-GCCIB-INSUR、集群名称icss-gccib-insurPRDCluster20901以及实例名称icss-gccib_nrWEB48953。
示例性的，携带维度信息标签的键值对集合可以表示为：{source：SZC-L50；acc_api：/gcc/js/tree2.js；acc_bytes：1626；acc_clientip：10.159.229.25；acc_date：2020-07-25；acc_method：POST；acc_serverip：30.181.225.18；acc_status：200；acc_time：12:10:50；acc_time_cost：0.003；acc_um：HUYUANMEI500；appname：ICSS-GCCIB-INSUR；cluster：icss-gccib-insurPRDCluster20901；instance：icss-gccib_nrWEB48953}。
在本申请实施例中，目标数据库系统可以包括ES(Elastic Search)系统。需要说明的是，ES系统是一种分布式可扩展的实时搜索和分析引擎，是建立在全文搜索引擎Apache Lucene基础上的搜索引擎。其中，ES系统支持实时文件存储和实时文件搜索，可以使用JSON格式存储数据。
具体地，可以将携带维度信息标签的键值对集合存储至ES系统，以便后续可以直接从ES系统中查询相关的日志数据并进行分析处理。
通过提取格式化后的日志数据对应的字段名与字段值，生成格式化后的日志数据对应的键值对集合，并对键值对集合添加预设的维度信息标签，后续在日志查询时，可以快速、便捷地根据维度信息确定目标键值对，且不需要对键值对进行格式化处理，从而可以提高日志查询的效率和便捷性。
具体地，当检测到基于日志查询页面中的查询按钮的触发操作时，根据维度信息与查询时间段在目标数据库系统中查询，得到日志查询操作对应的日志查询结果。
需要说明的是，在本申请实施例中，用户在日志查询页面中选中维度，以及输入起始时间与结束时间后，还需要对日志查询页面中的查询按钮进行触发操作，才能得到日志查询结果。请参阅图5，图5是本申请实施例提供的一种在日志查询页面中触发查询按钮的示意性框图。
请参阅图6，图6是步骤S20中根据维度信息与查询时间段在目标数据库系统中查询到日志查询操作对应的日志查询结果的子步骤的示意性流程图，具体可以包括以下步骤S201至步骤S203。
步骤S201、当检测到基于所述日志查询页面中的查询按钮的触发操作时，根据所述维度信息与所述查询时间段生成数据查询请求，其中，所述数据查询请求包括维度信息与查询时间段。
具体地，在查询日志数据的时候，需要向目标数据库系统发送数据查询请求。示例性的，可以根据维度信息与查询时间段生成数据查询请求，生成的数据查询请求包括维度信息与查询时间段。
其中，维度信息用于确定日志数据的维度级别和维度名称；查询时间段用于确定日志数据的时间范围。
步骤S202、将所述数据查询请求发送至所述目标数据库系统中，以使所述目标数据库系统根据所述数据查询请求中的维度信息与查询时间段在携带所述维度信息标签的所述键值对集合中确定目标键值对集合，并返回所述目标键值对集合。
具体地，可以通过与目标数据库系统连接的查询接口，将数据查询请求发送至目标数据库系统中。
具体地，目标数据库系统在收到数据查询请求后，可以根据述数据查询请求中的维度信息与查询时间段在携带维度信息标签的键值对集合中确定目标键值对集合。
示例性的，若数据查询请求中的维度信息为：子系统名称ICSS-GCCIB-INSUR、集群名称icss-gccib-insurPRDCluster20901以及实例名称icss-gccib_nrWEB48953，则目标数据库系统可以搜索携带维度信息标签为{appname：ICSS-GCCIB-INSUR；cluster：icss-gccib-insurPRDCluster20901；instance：icss-gccib_nrWEB48953}的键值对集合；然后根据数据查询请求中的查询时间段对搜索得到的键值对集合进行筛选，将筛选得到的键值对作为目标键值对。
示例性的，目标数据库系统还可以先根据数据查询请求中的查询时间段对携带维度信息标签的键值对进行初步筛选，然后根据数据查询请求中的维度信息对初步筛选得到的键值对进行搜索，将搜索得到的键值对作为目标键值对。
在确定目标键值对集合后，目标数据库系统可以通过查询接口返回目标键值对集合。
步骤S203、接收所述目标数据库系统返回的所述目标键值对集合，将所述目标键值对集合作为所述日志查询结果。
具体地，在接收到目标数据库系统返回的目标键值对集合，将目标键值对集合作为日志查询结果，以便后续将日志查询结果加载至日志查询页面。
需要强调的是，为进一步保证上述日志查询结果的私密和安全性，上述日志查询结果还可以存储于一区块链的节点中。
通过根据维度信息与查询时间段生成数据查询请求，可以使得目标数据库系统快速地根据维度信息与查询时间段在携带维度信息标签的键值对集合中确定目标键值对集合，实现了快速地从海量日志数据中查询获取到所需的日志数据，提高了医疗平台中日志查询的便捷性和效率，进而提高了医疗平台中日志数据处理的便捷性和效率。
步骤S30、根据所述日志查询结果生成日志分析信息，并将所述日志分析信 息显示在所述日志查询页面上。
需要说明的是，在本申请实施例中，可以将日志查询结果加载至日志查询页面。其中，加载可以包括根据日志查询结果生成日志分析信息，并渲染至日志查询页面等操作。例如，后台可以根据日志查询页面中当前的功能分析选项，对日志查询结果进行分析处理，得到日志分析信息；然后将日志分析信息渲染至日志查询页面中。
示例性的，日志分析信息可以包括但不限于性能分析信息、异常分析信息、趋势分析信息、实例分析信息以及用户行为分析信息等等。
请参阅图7，图7是步骤S30中根据日志查询结果生成日志分析信息的子步骤的示意性流程图，具体可以包括以下步骤S301至步骤S303。
步骤S301、确定所述日志查询页面中当前的功能分析选项。
具体地，日志查询页面包括多个功能分析选项。示例性的，功能分析选项可以包括但不限于性能分析选项、异常分析选项、趋势分析选项、实例分析选项以及用户行为分析选项。
具体地，日志查询页面中当前的功能分析选项可以根据用户对功能分析选项的选中操作进行确定。示例性的，日志查询页面中当前的功能分析选项默认是性能分析选项。当用户在日志查询页面切换功能分析选项时，可以根据用户的操作确定日志查询页面中当前的功能分析选项，例如，切换后的功能分析选项为异常分析选项。
通过确定日志查询页面中当前的功能分析选项，可以在获取日志查询结果后，根据当前的功能分析选项对应的分析策略对日志查询结果进行分析处理，从而可以得到日志查询结果对应的日志分析信息。
步骤S302、基于功能分析选项与分析策略之间预设的对应关系，确定所述当前的功能分析选项对应的目标分析策略。
具体地，不同的功能分析选项对应有不同的分析策略。需要说明的是，分析策略用于对日志查询结果进行分析处理。其中，不同的分析策略可以调用不同的程序代码进行实现。程序代码可以事先根据功能分析选项对应的功能类型进行编写。其中，分析策略可以实现对日志查询结果进行聚类分析、因子分析、相关分析、对应分析、回归分析以及方差分析等等。
示例性的，可以预先设定功能分析选项与分析策略之间的对应关系，并将功能分析选项与分析策略之间的对应关系信息存储在本地数据库中。
需要强调的是，为进一步保证上述功能分析选项与分析策略之间的对应关系信息的私密和安全性，上述功能分析选项与分析策略之间的对应关系信息还可以存储于一区块链的节点中。
示例性的，分析策略可以包括分析策略A、分析策略B以及分析策略C等等。
示例性的，若当前的功能分析选项为性能分析选项，且基于功能分析选项与分析策略之间预设的对应关系，确定性能分析选项对应的分析策略为分析策略A，则可以将分析策略A作为目标分析策略。
示例性的，若当前的功能分析选项为异常分析选项，且基于功能分析选项与分析策略之间预设的对应关系，确定异常分析选项对应的分析策略为分析策略B，则可以将分析策略B作为目标分析策略。
步骤S303、根据所述目标分析策略对所述日志查询结果进行分析处理，得到所述日志分析信息。
例如，若日志查询页面中当前的功能分析选项为性能分析信息，且目标分析策略为分析策略A，则可以根据分析策略A对日志查询结果进行性能分析处理，得到性能分析信息。
例如，若日志查询页面中当前的功能分析选项为趋势分析信息，且目标分析策略为分析策略B，则可以根据分析策略B对日志查询结果进行趋势分析处理，得到趋势分析信息。
具体地，在得到日志分析信息，可以将日志分析信息渲染至日志查询页面中，以在日志查询页面中显示日志分析信息。
示例性的，在日志查询页面中显示的日志分析信息可以通过直方图、散点图、鱼骨图、柱状图、雷达图、趋势图以及表格等方式展示。
需要说明的是，渲染是指各种资源或数据通过浏览器渲染引擎的解析，输出可视化的图像或网页的过程。其中，浏览器渲染引擎包括HTML解析器、CSS解析器、布局以及JavaScript引擎等模块。
通过将日志分析信息渲染至日志查询页面中，可以快速地展示各系统、集群或实例的日志分析信息，实现更加直观地进行日志分析，进一步提高了日志数据处理的效率和便捷性。
请参阅图8，步骤S30中将日志分析信息显示在日志查询页面上之后，还可以包括以下步骤S304至步骤S306。
步骤S304、当接收到用户对所述日志查询页面中的功能分析选项的切换操作时，根据所述切换操作确定所述日志查询页面中切换后的功能分析选项。
具体地，用户可以通过切换日志查询页面中的功能分析选项，并触发查询按钮，实现在日志查询页面显示不同功能分析选中对应的日志分析信息。
示例性的，当日志查询页面中的当前功能分析选项为性能分析选项时，若接收到用户在日志查询页面中将性能分析选项切换成异常分析选项的切换操作，则可以根据切换操作确定日志查询页面中切换后功能分析选项为异常分析选项。请参阅图9，图9是本申请实施例提供的一种在日志查询页面中切换功能分析选项的示意性框图。
步骤S305、当接收到用户对所述日志查询页面的查询按钮的触发操作时，确定切换后的所述功能分析选项对应的第二目标分析策略。
参阅图10，图10是本申请实施例提供的另一种在日志查询页面中触发查询按钮的示意性框图。需要说明的是，在切换功能分析选项后，切换后的功能分析选项对应的日志查询页面显示的是前一个功能分析选项对应的日志分析信息；只有接收到用户触发查询按钮时，才会重新对日志查询结果进行分析处理，得到待更新的日志分析信息，并加载待更新的日志分析信息到日志查询页面中。
具体地，当接收到用户对日志查询页面的查询按钮的触发操作时，可以基于功能分析选项与分析策略之间预设的对应关系，确定切换后的功能分析选项对应的第二目标分析策略。
示例性的，若切换后的功能分析选项为异常分析选项，且异常分析选项与分析策略B对应，则可以确定第二目标分析策略为分析策略B。
示例性的，若切换后的功能分析选项为趋势分析选项，且趋势分析选项与分析策略C对应，则可以确定第二目标分析策略为分析策略C。
步骤S306、根据所述第二目标分析策略对所述日志查询结果进行分析处理，得到待更新的日志分析信息，并在所述日志查询页面显示所述待更新的日志分析信息。
示例性的，若日志查询页面中切换后的功能分析选项为趋势分析信息，且第二目标分析策略为分析策略B，则可以根据分析策略B对日志查询结果进行趋势分析处理，得到趋势分析信息。如然后在日志查询页面显示趋势分析信息。
在另一些实施例中，若检测到用户在日志查询页面中的维度选中操作，根据维度选中操作重新确定维度信息；若检测到获取用户在日志查询页面输入的起始时间和结束时间，根据起始时间和结束时间重新确定查询时间段。
具体地，当接收到用户对日志查询页面的查询按钮的触发操作时，若日志查询页面中的维度信息和/或查询时间段发生变化，则需要重新根据维度信息与查询时间段生成数据查询请求，并将数据查询请求发送至目标数据库系统中，以获取最新的日志查询结果。然后根据第二目标分析策略对最新的日志查询结果进行分析处理，得到待更新的日志分析信息；并将待更新的日志分析信息渲染至日志查询页面。
其中，将待更新的日志分析信息渲染至日志查询页面的渲染过程，请参见上述实施例的详细说明，具体过程在此不作赘述。
在一些实施方式中，在日志查询页面显示待更新的日志分析信息时，若切换后的功能分析选项为性能分析选项，则在日志查询页面显示性能分析信息。
示例性的，可以在日志查询页面显示指定时间内的集群整体请求量、成功情况、响应时间每分钟的趋势信息，以及各个请求的功能的接口名称、请求量、异常量、异常率、平均响应时间和请求耗时等性能分析信息。
示例性的，用户还可以点击功能的接口名称，查看该接口在指定时间内的每一笔请求数据信息，进而可以直接查看有无出现用户请求触发量、耗时异常或者某些服务器响应异常。
在一些实施方式中，在日志查询页面显示待更新的日志分析信息时，若切换后的功能分析选项为异常分析选项，则在日志查询页面显示异常分析信息。
示例性的，可以在日志查询页面中显示子系统当天新出的报错信息并支持邮件报警等异常分析信息。当首次出现红色标注的报错信息时，可以提醒用户确认报错信息是否会影响生产业务。当用户点击报错信息时，可以在日志查询页面展示与历史报错日志对比的详情信息。
在一些实施方式中，在日志查询页面显示待更新的日志分析信息时，若切换后的功能分析选项为趋势分析选项，则在日志查询页面显示趋势分析信息。
示例性的，可以在日志查询页面中展示在指定时间段内的各接口性能突变情况等趋势分析信息，并提示系统接口的性能变化。
在一些实施方式中，在日志查询页面显示待更新的日志分析信息时，若切换后的功能分析选项为实例分析选项，则在日志查询页面显示实例分析信息。
示例性的，可以在日志查询页面中展示各个实例的受理请求情况、平均响应时间以及异常率信息等实例分析信息，并提示系统实例负载以及健康状况。
在一些实施方式中，在日志查询页面显示待更新的日志分析信息时，若切换后的功能分析选项为用户行为分析选项，则在日志查询页面显示用户行为分析信息。
示例性的，可以在日志查询页面展示当前时间段内在线用户量、各用户访问情况，以及各用户请求的平均响应时间和异常率等用户行为分析信息。
通过根据用户对功能分析选项的切换操作和查询按钮的触发操作，根据切换后的功能分析选项重新生成日志分析信息并在日志查询页面中显示，提高了日志数据处理的效率，还可以使得用户更加方便、直观地获取到日志分析信息。
上述实施例提供的日志数据处理方法，通过接收用户在日志查询页面中的维度选中操作，可以根据维度选中操作确定日志查询操作对应的维度信息，通过获取用户在日志查询页面输入的起始时间和结束时间，可以根据起始时间和结束时间确定日志查询操作对应的查询时间段；通过提取格式化后的日志数据对应的字段名与字段值，生成格式化后的日志数据对应的键值对集合，并对键值对集合添加预设的维度信息标签，后续在日志查询时，可以快速、便捷地根据维度信息确定目标键值对，且不需要对键值对进行格式化处理，从而可以提高日志查询的效率和便捷性；通过确定日志查询页面中当前的功能分析选项，可以在日志查询时，根据功能分析选择确定目标分析策略；通过根据维度信息与查询时间段生成数据查询请求，可以使得目标数据库系统快速地根据维度信息与查询时间段在携带维度信息标签的键值对集合中确定目标键值对集合，实现了快速地从海量日志数据中查询获取到所需的日志数据，提高了医疗平台中日志查询的便捷性和效率，进而提高了医疗平台中日志数据处理的便捷性和效率；通过将日志分析信息渲染至日志查询页面中，可以快速地展示各系统、集群或实例的日志分析信息，实现更加直观地进行日志分析，进一步提高了日志数据处理的效率和便捷性；通过根据用户对功能分析选项的切换操作和查询按钮的触发操作，根据切换后的功能分析选项重新生成日志分析信息并在日志查询页面中显示，可以更加便捷地在日志查询页面显示相应的日志分析信息，提高了日志数据处理的效率，还可以使得用户更加方便、直观地获取到日志分析信息。
请参阅图11，图11是本申请的实施例还提供一种日志数据处理装置100的示意性框图，该日志数据处理装置用于执行前述的日志数据处理方法。其中，该日志数据处理装置可以配置于服务器或终端中。
如图11所示，该日志数据处理装置100，包括：查询操作接收模块101、日志查询模块102和分析信息显示模块103。
查询操作接收模块101，用于接收日志查询操作，根据所述日志查询操作在预设的日志查询页面获取对应的维度信息和查询时间段。
日志查询模块102，用于根据所述维度信息与所述查询时间段在目标数据库系统中查询到所述日志查询操作对应的日志查询结果。
分析信息显示模块103，用于根据所述日志查询结果生成日志分析信息，并将所述日志分析信息显示在所述日志查询页面上。
需要说明的是，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的装置和各模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
上述的装置可以实现为一种计算机程序的形式，该计算机程序可以在如图12所示的计算机设备上运行。
请参阅图12，图12是本申请实施例提供的一种计算机设备的结构示意性框图。该计算机设备可以是服务器或终端。
请参阅图12，该计算机设备包括通过系统总线连接的处理器和存储器，其中，存储器可以包括非易失性存储介质和内存储器。
处理器用于提供计算和控制能力，支撑整个计算机设备的运行。
内存储器为非易失性存储介质中的计算机程序的运行提供环境，该计算机程序被处理器执行时，可使得处理器执行任意一种日志数据处理方法。
应当理解的是，处理器可以是中央处理单元(Central Processing Unit，CPU)，该处理器还可以是其他通用处理器、数字信号处理器(Digital Signal Processor， DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
其中，在一个实施例中，所述处理器用于运行存储在存储器中的计算机程序，以实现如下步骤：
接收日志查询操作，根据所述日志查询操作在预设的日志查询页面获取对应的维度信息和查询时间段；根据所述维度信息与所述查询时间段在目标数据库系统中查询到所述日志查询操作对应的日志查询结果；根据所述日志查询结果生成日志分析信息，并将所述日志分析信息显示在所述日志查询页面上。
在一个实施例中，所述日志查询操作包括维度选中操作和时间选择操作；所述处理器在实现接收日志查询操作，根据所述日志查询操作在预设的日志查询页面获取对应的维度信息和查询时间段时，用于实现：
接收用户在所述日志查询页面中的维度选中操作，根据所述维度选中操作确定所述维度信息；获取用户在所述日志查询页面中的时间选择操作，根据所述时间选择操作确定所述查询时间段。
在一个实施例中，所述处理器在实现根据所述维度信息与所述查询时间段在目标数据库系统中查询到所述日志查询操作对应的日志查询结果之前，还用于实现：
获取格式化后的日志数据；提取格式化后的所述日志数据对应的字段名与字段值，生成格式化后的所述日志数据对应的键值对集合；对所述键值对集合添加预设的维度信息标签，得到携带所述维度信息标签的所述键值对集合，并将携带所述维度信息标签的所述键值对集合存储至所述目标数据库系统。
在一个实施例中，所述日志查询页面包括至少一个功能分析选项；所述处理器在实现根据所述维度信息与所述查询时间段在目标数据库系统中查询到所述日志查询操作对应的日志查询结果时，用于实现：
当检测到基于所述日志查询页面中的查询按钮的触发操作时，根据所述维度信息与所述查询时间段生成数据查询请求，其中，所述数据查询请求包括维度信息与查询时间段；将所述数据查询请求发送至所述目标数据库系统中，以使所述目标数据库系统根据所述数据查询请求中的维度信息与查询时间段在携带所述维度信息标签的所述键值对集合中确定目标键值对集合，并返回所述目标键值对集合；接收所述目标数据库系统返回的所述目标键值对集合，将所述目标键值对集合作为所述日志查询结果。
在一个实施例中，所述处理器在实现根据所述日志查询结果生成日志分析信息时，用于实现：
确定所述日志查询页面中当前的功能分析选项；基于功能分析选项与分析策略之间预设的对应关系，确定所述当前的功能分析选项对应的目标分析策略；根据所述目标分析策略对所述日志查询结果进行分析处理，得到所述日志分析信息。
在一个实施例中，所述处理器在实现将所述日志分析信息显示在所述日志查询页面上之后，还用于实现：
当接收到用户对所述日志查询页面中的功能分析选项的切换操作时，根据所述切换操作确定所述日志查询页面中切换后的功能分析选项；当接收到用户对所述日志查询页面的查询按钮的触发操作时，确定切换后的所述功能分析选项对应 的第二目标分析策略；根据所述第二目标分析策略对所述日志查询结果进行分析处理，得到待更新的日志分析信息，并在所述日志查询页面显示所述待更新的日志分析信息。
在一个实施例中，所述处理器在实现在所述日志查询页面显示所述待更新的日志分析信息时，用于实现：
若切换后的所述功能分析选项为性能分析选项，则在所述日志查询页面显示性能分析信息；若切换后的所述功能分析选项为异常分析选项，则在所述日志查询页面显示异常分析信息；若切换后的所述功能分析选项为趋势分析选项，则在所述日志查询页面显示趋势分析信息；若切换后的所述功能分析选项为实例分析选项，则在所述日志查询页面显示实例分析信息；若切换后的所述功能分析选项为用户行为分析选项，则在所述日志查询页面显示用户行为分析信息。
本申请的实施例中还提供一种计算机可读存储介质，所述计算机可读存储介质可以是非易失性，也可以是易失性，所述计算机可读存储介质存储有计算机程序，所述计算机程序中包括程序指令，所述处理器执行所述程序指令，实现本申请实施例提供的任一项日志数据处理方法。
其中，所述计算机可读存储介质可以是前述实施例所述的计算机设备的内部存储单元，例如所述计算机设备的硬盘或内存。所述计算机可读存储介质也可以是所述计算机设备的外部存储设备，例如所述计算机设备上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字卡(Secure Digital Card，SD Card)，闪存卡(Flash Card)等。
进一步地，所述计算机可读存储介质可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序等；存储数据区可存储根据区块链节点的使用所创建的数据等。
本申请所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (20)

  1. 一种日志数据处理方法，其中，包括：
    接收日志查询操作，根据所述日志查询操作在预设的日志查询页面获取对应的维度信息和查询时间段；
    根据所述维度信息与所述查询时间段在目标数据库系统中查询到所述日志查询操作对应的日志查询结果；
    根据所述日志查询结果生成日志分析信息，并将所述日志分析信息显示在所述日志查询页面上。
  2. 根据权利要求1所述的日志数据处理方法，其中，所述日志查询操作包括维度选中操作和时间选择操作；所述接收日志查询操作，根据所述日志查询操作在预设的日志查询页面获取对应的维度信息和查询时间段，包括：
    接收用户在所述日志查询页面中的维度选中操作，根据所述维度选中操作确定所述维度信息；
    获取用户在所述日志查询页面中的时间选择操作，根据所述时间选择操作确定所述查询时间段。
  3. 根据权利要求1所述的日志数据处理方法，其中，所述根据所述维度信息与所述查询时间段在目标数据库系统中查询到所述日志查询操作对应的日志查询结果之前，还包括：
    获取格式化后的日志数据；
    提取格式化后的所述日志数据对应的字段名与字段值，生成格式化后的所述日志数据对应的键值对集合；
    对所述键值对集合添加预设的维度信息标签，得到携带所述维度信息标签的所述键值对集合，并将携带所述维度信息标签的所述键值对集合存储至所述目标数据库系统。
  4. 根据权利要求3所述的日志数据处理方法，其中，所述日志查询页面包括至少一个功能分析选项；所述根据所述维度信息与所述查询时间段在目标数据库系统中查询到所述日志查询操作对应的日志查询结果，包括：
    当检测到基于所述日志查询页面中的查询按钮的触发操作时，根据所述维度信息与所述查询时间段生成数据查询请求，其中，所述数据查询请求包括维度信息与查询时间段；
    将所述数据查询请求发送至所述目标数据库系统中，以使所述目标数据库系统根据所述数据查询请求中的维度信息与查询时间段在携带所述维度信息标签的所述键值对集合中确定目标键值对集合，并返回所述目标键值对集合；
    接收所述目标数据库系统返回的所述目标键值对集合，将所述目标键值对集合作为所述日志查询结果。
  5. 根据权利要求1所述的日志数据处理方法，其中，所述根据所述日志查询结果生成日志分析信息，包括：
    确定所述日志查询页面中当前的功能分析选项；
    基于功能分析选项与分析策略之间预设的对应关系，确定所述当前的功能分析选项对应的目标分析策略；
    根据所述目标分析策略对所述日志查询结果进行分析处理，得到所述日志分析信息。
  6. 根据权利要求1所述的日志数据处理方法，其中，所述将所述日志分析信 息显示在所述日志查询页面上之后，还包括：
    当接收到用户对所述日志查询页面中的功能分析选项的切换操作时，根据所述切换操作确定所述日志查询页面中切换后的功能分析选项；
    当接收到用户对所述日志查询页面的查询按钮的触发操作时，确定切换后的所述功能分析选项对应的第二目标分析策略；
    根据所述第二目标分析策略对所述日志查询结果进行分析处理，得到待更新的日志分析信息，并在所述日志查询页面显示所述待更新的日志分析信息。
  7. 根据权利要求6所述的日志数据处理方法，其中，所述在所述日志查询页面显示所述待更新的日志分析信息，包括：
    若切换后的所述功能分析选项为性能分析选项，则在所述日志查询页面显示性能分析信息；
    若切换后的所述功能分析选项为异常分析选项，则在所述日志查询页面显示异常分析信息；
    若切换后的所述功能分析选项为趋势分析选项，则在所述日志查询页面显示趋势分析信息；
    若切换后的所述功能分析选项为实例分析选项，则在所述日志查询页面显示实例分析信息；
    若切换后的所述功能分析选项为用户行为分析选项，则在所述日志查询页面显示用户行为分析信息。
  8. 一种日志数据处理装置，其中，包括：
    查询操作接收模块，用于接收日志查询操作，根据所述日志查询操作在预设的日志查询页面获取对应的维度信息和查询时间段；
    日志查询模块，用于根据所述维度信息与所述查询时间段在目标数据库系统中查询到所述日志查询操作对应的日志查询结果；
    分析信息显示模块，用于根据所述日志查询结果生成日志分析信息，并将所述日志分析信息显示在所述日志查询页面上。
  9. 一种计算机设备，其中，所述计算机设备包括存储器和处理器；
    所述存储器，用于存储计算机程序；
    所述处理器，用于执行所述计算机程序并在执行所述计算机程序时实现如下步骤：
    接收日志查询操作，根据所述日志查询操作在预设的日志查询页面获取对应的维度信息和查询时间段；
    根据所述维度信息与所述查询时间段在目标数据库系统中查询到所述日志查询操作对应的日志查询结果；
    根据所述日志查询结果生成日志分析信息，并将所述日志分析信息显示在所述日志查询页面上。
  10. 根据权利要求9所述的计算机设备，其中，所述日志查询操作包括维度选中操作和时间选择操作；所述接收日志查询操作，根据所述日志查询操作在预设的日志查询页面获取对应的维度信息和查询时间段，包括：
    接收用户在所述日志查询页面中的维度选中操作，根据所述维度选中操作确定所述维度信息；
    获取用户在所述日志查询页面中的时间选择操作，根据所述时间选择操作确定所述查询时间段。
  11. 根据权利要求9所述的计算机设备，其中，所述根据所述维度信息与所 述查询时间段在目标数据库系统中查询到所述日志查询操作对应的日志查询结果之前，还包括：
    获取格式化后的日志数据；
    提取格式化后的所述日志数据对应的字段名与字段值，生成格式化后的所述日志数据对应的键值对集合；
    对所述键值对集合添加预设的维度信息标签，得到携带所述维度信息标签的所述键值对集合，并将携带所述维度信息标签的所述键值对集合存储至所述目标数据库系统。
  12. 根据权利要求11所述的计算机设备，其中，所述日志查询页面包括至少一个功能分析选项；所述根据所述维度信息与所述查询时间段在目标数据库系统中查询到所述日志查询操作对应的日志查询结果，包括：
    当检测到基于所述日志查询页面中的查询按钮的触发操作时，根据所述维度信息与所述查询时间段生成数据查询请求，其中，所述数据查询请求包括维度信息与查询时间段；
    将所述数据查询请求发送至所述目标数据库系统中，以使所述目标数据库系统根据所述数据查询请求中的维度信息与查询时间段在携带所述维度信息标签的所述键值对集合中确定目标键值对集合，并返回所述目标键值对集合；
    接收所述目标数据库系统返回的所述目标键值对集合，将所述目标键值对集合作为所述日志查询结果。
  13. 根据权利要求9所述的计算机设备，其中，所述根据所述日志查询结果生成日志分析信息，包括：
    确定所述日志查询页面中当前的功能分析选项；
    基于功能分析选项与分析策略之间预设的对应关系，确定所述当前的功能分析选项对应的目标分析策略；
    根据所述目标分析策略对所述日志查询结果进行分析处理，得到所述日志分析信息。
  14. 根据权利要求9所述的计算机设备，其中，所述将所述日志分析信息显示在所述日志查询页面上之后，还包括：
    当接收到用户对所述日志查询页面中的功能分析选项的切换操作时，根据所述切换操作确定所述日志查询页面中切换后的功能分析选项；
    当接收到用户对所述日志查询页面的查询按钮的触发操作时，确定切换后的所述功能分析选项对应的第二目标分析策略；
    根据所述第二目标分析策略对所述日志查询结果进行分析处理，得到待更新的日志分析信息，并在所述日志查询页面显示所述待更新的日志分析信息。
  15. 一种计算机可读存储介质，其中，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时使所述处理器实现如下步骤：
    接收日志查询操作，根据所述日志查询操作在预设的日志查询页面获取对应的维度信息和查询时间段；
    根据所述维度信息与所述查询时间段在目标数据库系统中查询到所述日志查询操作对应的日志查询结果；
    根据所述日志查询结果生成日志分析信息，并将所述日志分析信息显示在所述日志查询页面上。
  16. 根据权利要求15所述的计算机可读存储介质，其中，所述日志查询操作包括维度选中操作和时间选择操作；所述接收日志查询操作，根据所述日志查 询操作在预设的日志查询页面获取对应的维度信息和查询时间段，包括：
    接收用户在所述日志查询页面中的维度选中操作，根据所述维度选中操作确定所述维度信息；
    获取用户在所述日志查询页面中的时间选择操作，根据所述时间选择操作确定所述查询时间段。
  17. 根据权利要求15所述的计算机可读存储介质，其中，所述根据所述维度信息与所述查询时间段在目标数据库系统中查询到所述日志查询操作对应的日志查询结果之前，还包括：
    获取格式化后的日志数据；
    提取格式化后的所述日志数据对应的字段名与字段值，生成格式化后的所述日志数据对应的键值对集合；
    对所述键值对集合添加预设的维度信息标签，得到携带所述维度信息标签的所述键值对集合，并将携带所述维度信息标签的所述键值对集合存储至所述目标数据库系统。
  18. 根据权利要求17所述的计算机可读存储介质，其中，所述日志查询页面包括至少一个功能分析选项；所述根据所述维度信息与所述查询时间段在目标数据库系统中查询到所述日志查询操作对应的日志查询结果，包括：
    当检测到基于所述日志查询页面中的查询按钮的触发操作时，根据所述维度信息与所述查询时间段生成数据查询请求，其中，所述数据查询请求包括维度信息与查询时间段；
    将所述数据查询请求发送至所述目标数据库系统中，以使所述目标数据库系统根据所述数据查询请求中的维度信息与查询时间段在携带所述维度信息标签的所述键值对集合中确定目标键值对集合，并返回所述目标键值对集合；
    接收所述目标数据库系统返回的所述目标键值对集合，将所述目标键值对集合作为所述日志查询结果。
  19. 根据权利要求15所述的计算机可读存储介质，其中，所述根据所述日志查询结果生成日志分析信息，包括：
    确定所述日志查询页面中当前的功能分析选项；
    基于功能分析选项与分析策略之间预设的对应关系，确定所述当前的功能分析选项对应的目标分析策略；
    根据所述目标分析策略对所述日志查询结果进行分析处理，得到所述日志分析信息。
  20. 根据权利要求15所述的计算机可读存储介质，其中，所述将所述日志分析信息显示在所述日志查询页面上之后，还包括：
    当接收到用户对所述日志查询页面中的功能分析选项的切换操作时，根据所述切换操作确定所述日志查询页面中切换后的功能分析选项；
    当接收到用户对所述日志查询页面的查询按钮的触发操作时，确定切换后的所述功能分析选项对应的第二目标分析策略；
    根据所述第二目标分析策略对所述日志查询结果进行分析处理，得到待更新的日志分析信息，并在所述日志查询页面显示所述待更新的日志分析信息。
PCT/CN2020/135248 2020-10-12 2020-12-10 日志数据处理方法、装置、计算机设备和存储介质 WO2021189953A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202011086327.7A CN112148700A (zh) 2020-10-12 2020-10-12 日志数据处理方法、装置、计算机设备和存储介质
CN202011086327.7 2020-10-12

Publications (1)

Publication Number Publication Date
WO2021189953A1 true WO2021189953A1 (zh) 2021-09-30

Family

ID=73951455

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2020/135248 WO2021189953A1 (zh) 2020-10-12 2020-12-10 日志数据处理方法、装置、计算机设备和存储介质

Country Status (2)

Country Link
CN (1) CN112148700A (zh)
WO (1) WO2021189953A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114327268A (zh) * 2021-12-27 2022-04-12 北京云思智学科技有限公司 一种应用于kv存储的自适应防护方法、装置及存储介质
CN116610715A (zh) * 2023-07-18 2023-08-18 国网浙江省电力有限公司宁波供电公司 一种用于多级存储数据的多维分析方法及系统
CN117076161A (zh) * 2023-10-16 2023-11-17 湖南于一科技有限公司 通过选取框选内容的方式获取和写入数据的方法

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113507511B (zh) * 2021-06-25 2022-08-19 中标慧安信息技术股份有限公司 基于区块链的物联网数据交互留痕方法与系统
CN117632660A (zh) * 2023-12-12 2024-03-01 北京衡石科技有限公司 应用检测方法、装置、电子设备和计算机可读介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8909655B1 (en) * 2007-10-11 2014-12-09 Google Inc. Time based ranking
US20160070739A1 (en) * 2014-09-10 2016-03-10 Ca, Inc, Batch processed data structures in a log repository referencing a template repository and an attribute repository
CN110659349A (zh) * 2019-09-23 2020-01-07 深圳前海微众银行股份有限公司 日志查询方法、装置、设备及计算机可读存储介质
CN110858192A (zh) * 2018-08-23 2020-03-03 阿里巴巴集团控股有限公司 一种日志查询方法和系统、日志排查系统和查询终端
CN111522922A (zh) * 2020-03-26 2020-08-11 浙江口碑网络技术有限公司 日志信息查询方法、装置、存储介质及计算机设备

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11216502B2 (en) * 2018-06-05 2022-01-04 LogsHero Ltd. Clustering of log messages
CN110489464B (zh) * 2019-07-02 2022-05-31 北京邮电大学 探索式图融合可视化方法和装置
CN111708740A (zh) * 2020-06-16 2020-09-25 荆门汇易佳信息科技有限公司 基于云平台的海量搜索查询日志计算分析系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8909655B1 (en) * 2007-10-11 2014-12-09 Google Inc. Time based ranking
US20160070739A1 (en) * 2014-09-10 2016-03-10 Ca, Inc, Batch processed data structures in a log repository referencing a template repository and an attribute repository
CN110858192A (zh) * 2018-08-23 2020-03-03 阿里巴巴集团控股有限公司 一种日志查询方法和系统、日志排查系统和查询终端
CN110659349A (zh) * 2019-09-23 2020-01-07 深圳前海微众银行股份有限公司 日志查询方法、装置、设备及计算机可读存储介质
CN111522922A (zh) * 2020-03-26 2020-08-11 浙江口碑网络技术有限公司 日志信息查询方法、装置、存储介质及计算机设备

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114327268A (zh) * 2021-12-27 2022-04-12 北京云思智学科技有限公司 一种应用于kv存储的自适应防护方法、装置及存储介质
CN116610715A (zh) * 2023-07-18 2023-08-18 国网浙江省电力有限公司宁波供电公司 一种用于多级存储数据的多维分析方法及系统
CN116610715B (zh) * 2023-07-18 2023-11-28 国网浙江省电力有限公司宁波供电公司 一种用于多级存储数据的多维分析方法及系统
CN117076161A (zh) * 2023-10-16 2023-11-17 湖南于一科技有限公司 通过选取框选内容的方式获取和写入数据的方法
CN117076161B (zh) * 2023-10-16 2023-12-29 湖南于一科技有限公司 通过选取框选内容的方式获取和写入数据的方法

Also Published As

Publication number Publication date
CN112148700A (zh) 2020-12-29

Similar Documents

Publication Publication Date Title
WO2021189953A1 (zh) 日志数据处理方法、装置、计算机设备和存储介质
US10474513B2 (en) Cluster-based processing of unstructured log messages
US11789943B1 (en) Configuring alerts for tags associated with high-latency and error spans for instrumented software
JP6865219B2 (ja) 連続クエリ処理におけるイベントバッチ処理、出力シーケンス化、およびログベースの状態記憶
US10303533B1 (en) Real-time log analysis service for integrating external event data with log data for use in root cause analysis
WO2019140828A1 (zh) 电子装置、分布式系统日志查询方法及存储介质
US11561972B2 (en) Query conversion for querying disparate data sources
US20150066869A1 (en) Module Database with Tracing Options
US20100145978A1 (en) Techniques to provide unified logging services
US11580294B2 (en) Techniques for web framework detection
CN108460068B (zh) 报表导入导出的方法、装置、存储介质及终端
CN112527414B (zh) 一种基于前端的数据处理方法、装置、设备及存储介质
CN111078695A (zh) 计算企业内元数据关联关系的方法及装置
US20240041395A1 (en) Automated health review system
CN113157480A (zh) 错误信息处理方法、装置、存储介质以及终端
US9317553B2 (en) Declarative partitioning for data collection queries
CN112434062A (zh) 准实时数据处理方法、装置、服务器及存储介质
JP2014123360A (ja) 仮想マシンのタグ分類システム及び方法
CN110852050A (zh) 一种配置报表生成系统的方法、装置和电子设备
CN110874365A (zh) 一种信息查询方法及其相关设备
CN115858282A (zh) 一种前端性能可视化监控方法及系统
CN113242148B (zh) 监控告警相关信息的生成方法、装置、介质及电子设备
CN115098568A (zh) 数据处理方法、装置、设备、介质和程序产品
US10949232B2 (en) Managing virtualized computing resources in a cloud computing environment
EP4214605A1 (en) Providing application error data for use by third-party library development systems

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20926593

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20926593

Country of ref document: EP

Kind code of ref document: A1