WO2016180265A1 - 日志事件处理方法和装置 - Google Patents

日志事件处理方法和装置 Download PDF

Info

Publication number
WO2016180265A1
WO2016180265A1 PCT/CN2016/081069 CN2016081069W WO2016180265A1 WO 2016180265 A1 WO2016180265 A1 WO 2016180265A1 CN 2016081069 W CN2016081069 W CN 2016081069W WO 2016180265 A1 WO2016180265 A1 WO 2016180265A1
Authority
WO
WIPO (PCT)
Prior art keywords
log
event
preset
file
processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/CN2016/081069
Other languages
English (en)
French (fr)
Inventor
初永光
倪浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba Group Holding Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Publication of WO2016180265A1 publication Critical patent/WO2016180265A1/zh
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/1805—Append-only file systems, e.g. using logs or journals to store data
    • G06F16/1815—Journaling file systems
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/17—Details of further file system functions
    • G06F16/174—Redundancy elimination performed by the file system
    • G06F16/1748—De-duplication implemented within the file system, e.g. based on file segments

Definitions

  • the present application relates to the field of Internet technologies, and in particular, to a log event processing method and apparatus.
  • the required log file is generally obtained by periodically polling the log file center, and then the log file obtained by each poll is processed.
  • Each polling includes the following steps: all the log directories in the log file center are screened one by one. If the log files in the subdirectory are added or modified, the log files are uploaded to the log file processing queue.
  • the purpose of the embodiment of the present application is to provide a log event processing method and apparatus, which saves the utilization rate of the log file processing resource and reduces the processing time.
  • the embodiment of the present application provides a log event processing method, including:
  • the log event is placed in a preset log event queue
  • the embodiment of the present application further provides a log event processing apparatus, including:
  • the event monitoring module monitors the log file center and obtains log events in the log file center
  • An event placement module placing the log event in a preset log event queue
  • the queue deduplication module deduplicates the log file modification event with the same log directory in the preset log event queue
  • the queue processing module processes the log event in the preset log event queue.
  • the probability that the log file is repeatedly processed is reduced, and the processing resources of the log file are saved.
  • the number of pending log events in the preset log event queue is controlled, the processing time of the log event is reduced, and the processing efficiency of the log file is improved.
  • FIG. 1 is a system structural diagram of a log file center, a preset log event queue, and a log processing device in the embodiment of the present application.
  • FIG. 2 is a process of a method for processing a log event in an embodiment of the present application.
  • FIG. 3 is a specific process of obtaining a log event in a log file center in a log event processing center in the log event processing method according to an embodiment of the present disclosure.
  • FIG. 4 is a specific process of processing a log event in the preset log event queue in a log event processing method according to an embodiment of the present disclosure.
  • FIG. 5 is a specific process of uploading a log file to a preset server in a log event processing method according to an embodiment of the present application.
  • FIG. 6 is a specific process of setting a process lock in a log event processing method according to an embodiment of the present application.
  • FIG. 7 is a specific process of the restarting step after the log event processing abnormality in the log event processing method in the embodiment of the present application.
  • FIG. 8 is a specific process of processing the remaining log events when the log event processing is stopped in the log event processing method in the embodiment of the present application.
  • FIG. 9 is a schematic structural diagram of a log event processing apparatus according to an embodiment of the present application.
  • the present application provides a log event processing method for solving the foregoing problem, and the method is described in detail below with reference to the accompanying drawings. .
  • FIG. 1 is a system structural diagram of a log file center, a preset log event queue, and a log processing device in the embodiment of the present application.
  • An information transmission link is established between the log file center 10 and the preset log event queue 20 to implement information exchange.
  • the execution body of the foregoing log processing method may be a processing device 30 connected to the foregoing log file center 10 and the preset log event queue 20, and the processing device 30 is capable of operating the log file center 10 and the preset log event queue 20, To achieve log processing.
  • FIG. 2 is a process of a method for processing a log event in an embodiment of the present application, and the method includes the following steps.
  • the foregoing log event may be a log directory addition event, a log directory deletion event, a log file addition event, a log file modification event, or a log file deletion event.
  • the preset log directory range in the center of the log file is monitored, and the preset log directory range may be the next sub-directory range of the log file center, thereby obtaining a log event within the preset log directory range.
  • step S1 specifically includes the following steps:
  • S11 Perform regular expression configuration on a directory of all logs in the log file center to obtain a regular expression for each log directory.
  • the log directory name in the log file center is unified, which facilitates subsequent querying of the default log directory range.
  • D:/logs in the D disk of the computer is used as a log file center, and the directory node is configured by a regular expression, and D:/logs/1, D:/logs/2 is set under D:/logs. There are 2 directory nodes in total. D:/logs/11, D:/logs/12, D:/logs/13 have 3 directory nodes.
  • step S13 Determine whether the regular expression of the log directory where the obtained log event is located matches the regular expression of the preset log directory range, and if yes, execute step S2, and if no, return to step S12.
  • the D:/logs/1 and the range of the directory node as the preset log directory range are taken as an example, and the regular expression of the preset log directory range is D:/logs/1*.
  • the obtained log event is a modification event of the log file in D:/logs/11, D:/logs/11 and D:/logs/1* match, indicating that the log directory corresponding to the log event is in the preset log.
  • the obtained log event is a modification event of the log file in D:/logs/2, D:/logs/2 and D:/logs/1* do not match, indicating the log corresponding to the log event.
  • the directory is not in the range of the default log directory.
  • the log events may be arranged in a preset log event queue according to the time sequence of obtaining the log events.
  • the log file modification event of other acquisition time may also be retained, and the deduplication of the modification event of the log file may also be implemented, and details are not described herein.
  • the probability that the log file is repeatedly processed is reduced, and the processing resources of the log file are saved.
  • the number of pending log events in the preset log event queue is controlled, the processing time of the log event is reduced, and the processing efficiency of the log file is improved.
  • the log events in the preset log event queue are processed one by one, and the log events that have been processed are cleared, and the storage space of the preset log event queue is controlled to prepare for the new log event.
  • step S4 specifically includes the following steps.
  • step S42 When the obtained log event is a log file modification event, determine whether there is a preset log event in the preset log event queue that is the same as the log directory corresponding to the currently processed log file modification event. If yes, go to step S43. Otherwise, step S44 is performed.
  • the preset log event is any one of a new event in the log directory, a log directory deletion event, a new log file event, and a log file deletion.
  • the processing of the log file modification event includes: uploading the log file corresponding to the log file modification event or the log file addition event to the preset server.
  • step S43 specifically includes the following steps:
  • the added log directory is added to the listener
  • the process returns directly to the preset log event processing.
  • the preset log event is set, and the priority of the preset log event is set to be higher than the log file modification event, and each time the log file modification event is processed, it is determined whether the log is the same.
  • Priority is given to the setting of the preset log event, which greatly improves the monitoring efficiency of the log file center.
  • the log directory deletion event can be used to limit the listening range of the log file center to dynamically adjust the preset log directory range to prevent the deleted log directory from being in the default log.
  • the monitoring resources of the preset log directory range are wasted; of course, when the event is added to the log directory, the log files on the added log directory can be obtained in time.
  • uploading the log file to the preset server in the steps S43 and S44 specifically includes the following steps.
  • step S442. Determine whether the last byte of the byte data block is a newline character. If yes, go to step S443. If no, go to step S444.
  • S444 A newline character in the positioning byte data block that is closest to the last byte, and uploads the newline character and the byte data before the newline character to the server.
  • log files are getting larger and larger.
  • the upload efficiency of log files can be greatly improved.
  • log file may also be read by means of row read, and details are not described herein.
  • the log event processing method further includes the step of saving the processing progress of the log event to the preset memory file pool after step S4, as follows.
  • the deleted log directory is deleted from the preset memory file pool.
  • the added log file is added to the preset memory file pool.
  • the deleted log file is deleted from the preset memory file pool.
  • the corresponding log file in the preset memory file pool is updated according to the progress of uploading the log file to the preset server.
  • the processing of the log event is recorded by the preset memory file pool, so that when the log event handler is abnormal, the log event record can be archived according to the log file in the memory file pool, and when the log event processing is abnormal, in the preset log event queue. Processing progress.
  • the log event processing method further includes: printing the log directory and the log file in the preset memory file pool into the preset disk at preset time intervals.
  • the preset file pool is located in the cache layer of the computer device, and the cache layer is a buffer cache for data interaction, and the high-speed access feature of the buffer cache is used initially to greatly improve the storage of the log directory and the log file.
  • the log event processing method further includes setting a process lock to the log event processing process, and specifically includes the following steps.
  • step S52 Determine whether the log event processing process for the same preset log directory range has been started. If yes, go to step S53, if no, go to step S54.
  • the log event processing method further includes a restarting step after the log event processing is abnormal, as follows.
  • the preset memory file pool updates the processing progress of the log event in the preset log event queue in real time, and stores the log event in the chronological order into the preset memory file pool, and the preset memory file pool obtains the latest log event. This is the log event that is processed when the log event queue processes an exception.
  • the log event for the previous log event processing exception can be clarified.
  • the log event processing step can be restarted, which can greatly improve the processing efficiency of the log event in the preset log event queue.
  • the log event processing method further includes the step of processing the remaining log events when the log event processing is stopped, as follows.
  • step S82 Determine whether there is a log event in the preset log event queue. If yes, proceed to step S4. If no, go to step S83.
  • the new log event is stopped in advance, and the remaining log events in the preset log event queue are still processed to prevent the log event from being put on hold for a long time, so that the user behavior information reflected in it cannot be timely. It is learned that the user experience is not improved.
  • FIG. 9 is a schematic structural diagram of a log event processing apparatus according to an embodiment of the present application.
  • the processing apparatus is based on the foregoing processing method. Therefore, specific details of the apparatus may be referred to the foregoing processing method, and details are not described herein again.
  • the foregoing log event processing device 30 includes:
  • the event monitoring module 31 monitors the log file center and obtains a log event in the log file center.
  • the event placement module 32 places the log event in a preset log event queue
  • the queue deduplication module 33 deduplicates the log file modification event with the same log directory in the preset log event queue
  • the queue processing module 34 processes the log events in the preset log event queue.
  • the event monitoring module 31 is specifically configured to:
  • the event monitoring module 31 is specifically configured to:
  • the event placement module 32 is specifically configured to:
  • Log events are placed in the preset log event queue according to the time sequence of the log events.
  • the queue deduplication module 33 is specifically configured to:
  • the queue processing module 34 is specifically configured to:
  • the queue processing module 34 is specifically configured to:
  • the currently processed log event is a log file modification event
  • the preset log event is any one of a new event in the log directory, a log directory deletion event, a new log file event, and a log file deletion.
  • the queue processing module 34 is specifically configured to:
  • the queue processing module 34 is specifically configured to:
  • the added log directory is added to the listener
  • the process returns directly to the preset log event processing.
  • the queue processing module 34 is specifically configured to:
  • the log event processing device further includes a progress recording module, specifically configured to:
  • the deleted log directory is deleted from the preset memory file pool
  • the deleted log file is deleted from the preset memory file pool
  • the corresponding log file in the preset memory file pool is updated.
  • the progress recording module is further configured to:
  • the log directory and log files in the preset memory file pool are flushed to the default disk at preset intervals.
  • the log event processing device further includes a process restart module, specifically configured to:
  • the location of the log event located in the preset log event queue is taken as the restart location
  • the queue processing module 34 is specifically configured to:
  • the log event processing device further includes a process locking module, specifically configured to:
  • the log event processing device further includes an interrupt processing module, specifically configured to:
  • the log processing device 30 in the embodiment of the present application reduces the probability of the log file being repeatedly processed by deduplicating the log file modification event, thereby saving the processing resources of the log file. At the same time, the number of pending log events in the preset log event queue is controlled, the processing time of the log event is reduced, and the processing efficiency of the log file is improved.
  • embodiments of the present invention can be provided as a method, system, or computer program product. Accordingly, the present invention may take the form of an entirely hardware embodiment, an entirely software embodiment, or a combination of software and hardware. Moreover, the invention can take the form of a computer program product embodied on one or more computer-usable storage media (including but not limited to disk storage, CD-ROM, optical storage, etc.) including computer usable program code.
  • computer-usable storage media including but not limited to disk storage, CD-ROM, optical storage, etc.
  • the computer program instructions can also be stored in a computer readable memory that can direct a computer or other programmable data processing device to operate in a particular manner, such that the instructions stored in the computer readable memory produce an article of manufacture comprising the instruction device.
  • the apparatus implements the functions specified in one or more blocks of a flow or a flow and/or block diagram of the flowchart.
  • These computer program instructions can also be loaded onto a computer or other programmable data processing device such that a series of operational steps are performed on a computer or other programmable device to produce computer-implemented processing for execution on a computer or other programmable device.
  • the instructions provide steps for implementing the functions specified in one or more of the flow or in a block or blocks of a flow diagram.
  • a computing device includes one or more processors (CPUs), input/output interfaces, network interfaces, and memory.
  • processors CPUs
  • input/output interfaces network interfaces
  • memory volatile and non-volatile memory
  • the memory may include non-persistent memory, random access memory (RAM), and/or non-volatile memory, such as read only memory (ROM) or flash memory (Flash RAM), in a computer readable medium.
  • RAM random access memory
  • ROM read only memory
  • Flash RAM flash memory
  • Memory is an example of a computer readable medium.
  • Computer readable media includes both permanent and non-persistent, removable and non-removable media.
  • Information storage can be implemented by any method or technology.
  • the information can be computer readable instructions, data structures, modules of programs, or other data.
  • Examples of computer storage media include, but are not limited to, phase change memory (PRAM), static random access memory (SRAM), dynamic random access memory (DRAM), other types of random access memory (RAM), read only memory. (ROM), electrically erasable programmable read only memory (EEPROM), flash memory or other memory technology, compact disk read only memory (CD-ROM), digital versatile disk (DVD) or other optical storage, Magnetic tape cartridges, magnetic tape storage or other magnetic storage devices or any other non-transportable media can be used to store information that can be accessed by a computing device.
  • computer readable media does not include temporary storage computer readable media, such as modulated data signals and carrier waves.
  • embodiments of the present application can be provided as a method, system, or computer program product.
  • the present application can take the form of an entirely hardware embodiment, an entirely software embodiment or an embodiment in combination of software and hardware.
  • the application can take the form of a computer program product embodied on one or more computer-usable storage media (including but not limited to disk storage, CD-ROM, optical storage, etc.) including computer usable program code.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Debugging And Monitoring (AREA)

Abstract

一种日志事件处理方法和装置，该日志事件处理方法，包括：监听日志文件中心，获取日志文件中心中日志事件（S1）；将所述日志事件置于预设日志事件队列（S2）；对所述预设日志事件队列中所对应日志目录相同的日志文件修改事件进行去重（S3）；处理所述预设日志事件队列中日志事件（S4）。该日志事件处理方法和装置通过对日志文件修改事件进行去重，降低了该日志文件被重复处理的几率，节约了日志文件的处理资源。同时，控制了预设日志事件队列中待处理日志事件的数量，降低了日志事件的处理耗时，提高了日志文件的处理效率。

Description

日志事件处理方法和装置
本申请要求2015年05月13日递交的申请号为201510243117.7、发明名称为“日志事件处理方法和装置”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。
技术领域
本申请涉互联网技术领域，尤其涉及一种日志事件处理方法和装置。
背景技术
随着互联网技术的快速发展，用户操作互联网设备所产生的访问日志或系统日志也成爆发式增长。如何统计、分析这些日志信息，从这些日志信息中提取有效的用户行为信息，进而提高用户体验已经成为了业内的关注点。
在对日志信息进行统计、分析前，首先需从日志文件中心获取访问日志或系统日志文件。现有技术中，一般通过对日志文件中心进行周期性轮询的方式来得到所需的日志文件，再将每次轮询所得日志文件进行处理。其中，每次轮询均包括如下步骤：在日志文件中心中所有日志目录进行逐一筛查，若有子目录中日志文件增加或被修改，则将该日志文件上传至日志文件处理队列。
然而，在实现本申请过程中，现有技术中至少存在如下问题：
随着互联网技术的快速发展，每次轮询所上传日志文件处理队列的日志文件的数量越来越大，受限于当前对日志文件的处理能力，难以在一个轮询周期内完成对日志文件处理队列中所有日志文件的处理。若同一日志文件发生多次修改，则该日志文件在轮询过程中均会被重复上传至日志文件处理队列，后续对这些重复的日志文件的处理，浪费的日志文件的处理资源并增加了日志文件的处理耗时。
发明内容
本申请实施例的目的在于提供一种日志事件处理方法和装置，节约了日志文件处理资源的利用率并降低了处理耗时。
本申请实施例提供一种日志事件处理方法，其包括：
监听日志文件中心，获取日志文件中心中日志事件；
将所述日志事件置于预设日志事件队列；
对所述预设日志事件队列中所对应日志目录相同的日志文件修改事件进行去重；
处理所述预设日志事件队列中日志事件。
本申请实施例还提供一种日志事件处理装置，其包括：
事件监听模块，监听日志文件中心，获取日志文件中心中日志事件；
事件安置模块，将所述日志事件置于预设日志事件队列；
队列去重模块，对所述预设日志事件队列中所对应日志目录相同的日志文件修改事件进行去重；
队列处理模块，处理所述预设日志事件队列中日志事件。
本申请实施例采用的上述至少一个技术方案能够达到以下有益效果：
通过对日志文件修改事件进行去重，降低了该日志文件被重复处理的几率，节约了日志文件的处理资源。同时，控制了预设日志事件队列中待处理日志事件的数量，降低了日志事件的处理耗时，提高了日志文件的处理效率。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1为本申请实施例中日志文件中心、预设日志事件队列和日志处理装置的系统结构图。
图2为本申请实施例中日志事件处理方法的过程。
图3为本申请实施例中日志事件处理方法内监听日志文件中心，获取日志文件中心中日志事件的具体过程。
图4为本申请实施例中日志事件处理方法内处理所述预设日志事件队列中日志事件的具体过程。
图5为本申请实施例中日志事件处理方法内将日志文件上传至预设服务器的具体过程。
图6为本申请实施例中日志事件处理方法内设置进程锁的具体过程。
图7为本申请实施例中日志事件处理方法内日志事件处理异常后的重启步骤的具体过程。
图8为本申请实施例中日志事件处理方法内停止日志事件处理时对剩余日志事件进行处理步骤的具体过程。
图9为本申请实施例中日志事件处理装置的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相 应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
现有通过对日志文件中心进行轮询来得到所需日志文件的过程中，可能存在获取效率低的问题，本申请提供一种解决前述问题的日志事件处理方法，以下结合附图详细描述本方法。
图1为本申请实施例中日志文件中心、预设日志事件队列和日志处理装置的系统结构图。
其中，日志文件中心10和预设日志事件队列20之间建立信息传输链路，实现信息互通。
前述日志处理方法的执行主体可以是一个与前述日志文件中心10和预设日志事件队列20均连接的处理装置30，该处理装置30能够对日志文件中心10和预设日志事件队列20进行操作，以实现日志处理。
图2为本申请实施例中日志事件处理方法的过程，该方法包括如下步骤。
S1、监听日志文件中心，获取日志文件中心中日志事件。
前述日志事件可以是日志目录增加事件、日志目录删除事件、日志文件增加事件、日志文件修改事件或日志文件删除事件。
本申请实施例中，监听日志文件中心内预设日志目录范围，预设日志目录范围可以为日志文件中心下一个子目录范围，从而获取在该预设日志目录范围内的日志事件。
结合图3所示，该步骤S1具体包括如下步骤：
S11、对日志文件中心中所有日志的目录进行正则表达式配置，获取每个日志目录的正则表达式。
经过正则表达式配置后，日志文件中心内日志目录名称统一，便于后续查询预设日志目录范围。
本申请实施例中，以计算机内D盘中D:/logs作为日志文件中心经过正则表达式配置后所在目录节点，D:/logs下设有D:/logs/1、D:/logs/2共计2个目录节点，D:/logs/1下设有D:/logs/11、D:/logs/12、D:/logs/13共计3个目录节点。
S12、获取日志文件中心内日志事件以及日志事件所在日志目录的正则表达式。
S13、判断所获取日志事件所在日志目录的正则表达式与预设日志目录范围的正则表达式是否匹配，若是，执行步骤S2，若否，返回步骤S12。
本申请实施例中，以D:/logs/1及其下设目录节点范围作为预设日志目录范围为例，则预设日志目录范围的正则表达式为D:/logs/1*。
若所获取的日志事件为D:/logs/11内日志文件的修改事件，D:/logs/11和D:/logs/1*匹配，则表明该日志事件所对应的日志目录在预设日志目录范围内；若所获取的日志事件为D:/logs/2内日志文件的修改事件，D:/logs/2和D:/logs/1*不匹配，则表明该日志事件所对应的日志目录不在预设日志目录范围内。
S2、将日志事件置于预设日志事件队列。
本申请实施例中，可以根据日志事件的获取时间顺序，将日志事件排列在预设日志事件队列。
S3、对预设日志事件队列中所对应日志目录相同的日志文件修改事件进行去重。
本申请实施例中，可以在预设日志事件队列有所对应日志目录相同的日志文件修改事件时，仅保留获取时间最早的日志文件修改事件，实现对该类日志文件修改事件进行去重。
当然，本申请其他实施例中，也可保留其他获取时间的日志文件修改事件，同样能实现对该类日志文件修改事件的去重，在此不做赘述。
通过对日志文件修改事件进行去重，降低了该日志文件被重复处理的几率，节约了日志文件的处理资源。同时，控制了预设日志事件队列中待处理日志事件的数量，降低了日志事件的处理耗时，提高了日志文件的处理效率。
S4、处理预设日志事件队列中日志事件。
本申请实施例中，逐一处理预设日志事件队列中日志事件，并清除已完成处理的日志事件，控制预设日志事件队列的存储空间以备新的日志事件增加进来。
参图4所示，步骤S4具体包括如下步骤。
S41、获取预设日志事件队列中一日志事件。
S42、在所获取日志事件为日志文件修改事件时，判断预设日志事件队列中是否存在与当前所处理的日志文件修改事件所对应日志目录相同的预设日志事件，若是，执行步骤S43，若否，执行步骤S44。
其中，预设日志事件为日志目录新增事件、日志目录删除事件、日志文件新增事件及日志文件删除之间中任意一种。
S43、处理预设日志事件。
S44、处理日志文件修改事件。
其中，处理日志文件修改事件具体包括：将日志文件修改事件或日志文件增加事件所对应的日志文件上传至预设服务器。
本申请实施例中，步骤S43具体包括如下步骤：
在预设日志事件为日志目录增加事件时，将所增加日志目录加入监听；
在预设日志事件为日志目录删除事件时，取消对所删除日志目录的监听；
在预设日志事件为日志文件增加事件时，将日志文件增加事件对应的日志文件上传至预设服务器；
在预设日志事件为日志文件删除事件时，直接返回该预设日志事件处理结束。
本申请实施例中，通过设定预设日志事件，并将该预设日志事件的优先级设定高于日志文件修改事件，每次在处理日志文件修改事件时，均判断是否有相同该日志目录的预设日志事件存在，优先处理预设日志事件。
优先处理预设日志事件的设定，对于日志文件中心的监听效率有较大提升。以预设日志事件为日志目录删除事件为例，处理该日志目录删除事件能够限缩对于日志文件中心的监听范围，实现动态调整预设日志目录范围，避免被删除的日志目录仍处于预设日志目录范围之中，造成预设日志目录范围的监视资源浪费；当然，处理日志目录新增事件时，也能及时获取所增加日志目录上的日志文件。
参图5所示，本申请实施例中，该步骤S43和S44中将日志文件上传至预设服务器具体包括如下步骤。
S441、按块读取日志文件中字节数据，得到字节数据块。
S442、判断字节数据块最后一个字节是否为换行符，若是，执行步骤S443，若否，执行步骤S444。
S443、将读取到的字节数据上传至服务器。
S444、定位字节数据块中距离最后一个字节最近的换行符，将该换行符及该换行符之前的字节数据上传至服务器。
随着互联网技术的快速发展，日志文件越来越大，通过按块读取日志文件，能够大幅提高日志文件的上传效率。
当然，本申请其他实施例中，还可通过按行读取的方式来读取日志文件，在此不做赘述。
本申请实施例中，日志事件处理方法还包括位于步骤S4之后的将日志事件的处理进度保存至预设内存文件池的步骤，具体如下。
在当前所处理的当前所处理的日志事件为日志目录增加事件时，将所增加日志目录和日志文件加入至预设内存文件池。
在当前所处理的日志事件为日志目录删除事件时，将所删除日志目录从预设内存文件池之中删除。
在当前所处理的日志事件为日志文件增加事件时，将所增加日志文件加入至预设内存文件池。
在当前所处理的日志事件为日志文件删除事件时，将所删除日志文件从预设内存文件池之中删除。
在当前所处理的日志事件为日志文件修改事件时，按照日志文件的上传至预设服务器的进度，对预设内存文件池中对应日志文件做更新。
通过预设内存文件池来记录日志事件的处理进度，使得在日志事件处理程序出现异常时，能够根据内存文件池中日志事件存档记录，明确日志事件处理发生异常时，在预设日志事件队列中的处理进度。
本申请实施例中，日志事件处理方法还包括：以预设时间间隔，将预设内存文件池中日志目录和日志文件刷入预设磁盘。
本申请实施例中，预设文件池位于计算机设备的缓存层内，该缓存层即进行数据交互的缓冲区Cache，初期利用缓冲区Cache的高速访问特性，大幅提高了将日志目录和日志文件存储至预设内存文件池的效率；后续将敏感信息和信息标识保存至该可掉电式存储的磁盘之中，提高了日志目录和日志文件存储的稳定性。
参图6所示，本申请实施例中，日志事件处理方法还包括对日志事件处理进程设置进程锁，具体包括如下步骤。
S51、获取日志事件处理请求。
S52、，判断是否已启动针对相同预设日志目录范围的日志事件处理进程，若是，执行步骤S53，若否，执行步骤S54。
当然，若日志处理仅仅针对日志文件中心，则直接判断是否针对该日志文件中心的日志事件处理进程是否已存在即可，在此不做赘述。
S53、启动该新获取的日志事件处理进程。
S54、仅保留启动时间最早的、针对相同预设日志目录范围的日志事件处理进程。
通过对日志事件处理进程设置进程锁，避免多个日志事件处理进程对同一个预设日志目录范围内日志事件进行处理，保证日志事件处理不会重复，避免日志事件处理结果 的紊乱。
参图7所示，本申请实施例中，日志事件处理方法还包括日志事件处理异常后的重启步骤，具体如下。
S71、在日志事件处理进程重启时，从预设内存文件池获取时间最晚的日志事件。
S72、在预设日志事件队列中定位与预设内存文件池中时间最晚的日志事件相同的日志事件。
S73、将预设日志事件队列中定位到的日志事件所在位置作为重启位置。
由于预设内存文件池实时更新预设日志事件队列中日志事件的处理进度，并以时间先后顺序将该日志事件存储至预设内存文件池之中，预设内存文件池获取时间最晚的日志事件即为日志事件队列处理异常时所处理的日志事件。
通过预设内存文件池即可明确之前日志事件处理异常时所针对的日志事件，在此基础上重启日志事件处理步骤，能够大幅提高预设日志事件队列中日志事件的处理效率。
参图8所示，本申请实施例中，日志事件处理方法还包括停止日志事件处理时对剩余日志事件进行处理的步骤，具体如下。
S81、在获取日志事件处理停止请求时，停止获取日志文件中心中日志事件。
S82、判断预设日志事件队列中是否还有日志事件，若是，继续执行步骤S4，若否，执行步骤S83。
S83、返回请求者日志事件处理已停止。
在有停止日志事件处理进程时，预先停止获取新的日志事件，仍然会将预设日志事件队列中剩余日志事件处理完毕，避免日志事件被搁置过久，导致其所体现用户行为信息无法被及时获悉而造成用户体验提升效果较差。
图9为本申请实施例中日志事件处理装置的结构示意图，该处理装置是基于以上处理方法，故该装置的具体细节可参照以上处理方法，本文不再予以赘述。
前述日志事件处理装置30，包括：
事件监听模块31，监听日志文件中心，获取日志文件中心中日志事件；
事件安置模块32，将日志事件置于预设日志事件队列；
队列去重模块33，对预设日志事件队列中所对应日志目录相同的日志文件修改事件进行去重；
队列处理模块34，处理预设日志事件队列中日志事件。
本申请实施例中，事件监听模块31，具体用于：
获取位于日志文件中心中预设日志目录范围上的日志事件。
本申请实施例中，事件监听模块31，具体用于：
对日志文件中心中所有日志目录进行正则表达式配置，获取每个日志目录的正则表达式；
在日志文件中心发生日志事件时，获取日志事件所在日志目录的正则表达式；
判断所获取日志事件所在日志目录的正则表达式与预设日志目录范围的正则表达式是否匹配；
若是，获取该日志事件。
本申请实施例中，事件安置模块32，具体用于：
根据日志事件的获取时间顺序，将日志事件置于预设日志事件队列。
本申请实施例中，队列去重模块33，具体用于：
仅保留获取时间最早的日志文件修改事件。
本申请实施例中，队列处理模块34，具体用于：
逐一处理预设日志事件队列中日志事件，并清除已完成处理的日志事件。
本申请实施例中，队列处理模块34，具体用于：
在当前处理的日志事件为日志文件修改事件时，判断预设日志事件队列中是否存在与当前所处理的日志文件修改事件所对应日志目录相同的预设日志事件；
若是，处理预设日志事件；
若否，处理日志文件修改事件；
其中，预设日志事件为日志目录新增事件、日志目录删除事件、日志文件新增事件及日志文件删除之间中任意一种。
本申请实施例中，队列处理模块34，具体用于：
将日志事件队列中日志文件修改事件所对应的日志文件上传至预设服务器。
本申请实施例中，队列处理模块34，具体用于：
在预设日志事件为日志目录增加事件时，将所增加日志目录加入监听；
在预设日志事件为日志目录删除事件时，取消对所删除日志目录的监听；
在预设日志事件为日志文件增加事件时，将日志文件增加事件对应的日志文件上传至预设服务器；
在预设日志事件为日志文件删除事件时，直接返回该预设日志事件处理结束。
本申请实施例中，队列处理模块34，具体用于：
按块读取日志文件中字节数据，得到字节数据块；
判断字节数据块最后一个字节是否为换行符，若是，将读取到的字节数据上传至服务器，若否，定位字节数据块中距离最后一个字节最近的换行符，将该换行符及该换行符之前的字节数据上传至服务器。
本申请实施例中，日志事件处理装置还包括进度记录模块，具体用于：
在当前所处理的日志事件为日志目录增加事件时，将所增加日志目录和日志文件加入至预设内存文件池；
在当前所处理的日志事件为日志目录删除事件时，将所删除日志目录从预设内存文件池之中删除；
在当前所处理的日志事件为日志文件增加事件时，将所增加日志文件加入至预设内存文件池；
在当前所处理的日志事件为日志文件删除事件时，将所删除日志文件从预设内存文件池之中删除；
在当前所处理的日志事件为日志文件修改事件时，对预设内存文件池中对应日志文件做更新。
本申请实施例中，进度记录模块，还用于：
以预设时间间隔，将预设内存文件池中日志目录和日志文件刷入预设磁盘。
本申请实施例中，日志事件处理装置还包括进程重启模块，具体用于：
在日志事件处理进程重启时，从预设内存文件池获取时间最晚的日志事件；
在预设日志事件队列中定位与预设内存文件池中时间最晚的日志事件相同的日志事件；
将预设日志事件队列中定位到的日志事件所在位置作为重启位置；
队列处理模块34，具体用于：
处理预设日志事件队列中位于重启位置上的日志事件。
本申请实施例中，日志事件处理装置还包括进程锁定模块，具体用于：
设置进程锁，仅保留启动时间最早的、针对相同预设日志目录范围的日志事件处理进程。
本申请实施例中，日志事件处理装置还包括中断处理模块，具体用于：
在获取日志事件处理停止请求时，停止获取日志文件中心中日志事件；
判断预设日志事件队列中是否还有日志事件，若是，逐一处理预设日志事件队列中 日志事件。
本申请实施例中的日志处理装置30，通过对日志文件修改事件进行去重，降低了该日志文件被重复处理的几率，节约了日志文件的处理资源。同时，控制了预设日志事件队列中待处理日志事件的数量，降低了日志事件的处理耗时，提高了日志文件的处理效率。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(Flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitorymedia)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (30)

  1. 一种日志事件处理方法，其特征在于，包括：
    监听日志文件中心，获取日志文件中心中日志事件；
    将所述日志事件置于预设日志事件队列；
    对所述预设日志事件队列中所对应日志目录相同的日志文件修改事件进行去重；
    处理所述预设日志事件队列中日志事件。
  2. 如权利要求1所述的日志事件处理方法，其特征在于，获取日志文件中心中日志事件，具体包括：
    获取位于日志文件中心中预设日志目录范围上的日志事件。
  3. 如权利要求2所述的日志事件处理方法，其特征在于，获取位于日志文件中心中预设日志目录范围上的日志事件，具体包括：
    对日志文件中心中所有日志目录进行正则表达式配置，获取每个日志目录的正则表达式；
    在日志文件中心发生日志事件时，获取所述日志事件所在日志目录的正则表达式；
    判断所获取日志事件所在日志目录的正则表达式与预设日志目录范围的正则表达式是否匹配；
    若是，获取该日志事件。
  4. 如权利要求1所述的日志事件处理方法，其特征在于，将所述日志事件置于预设日志事件队列，具体包括：
    根据所述日志事件的获取时间顺序，将所述日志事件置于预设日志事件队列。
  5. 如权利要求1所述的日志事件处理方法，其特征在于，对所述预设日志事件队列中所对应日志目录相同的日志修改事件进行去重，具体包括：
    仅保留获取时间最早的日志文件修改事件。
  6. 如权利要求1所述的日志事件处理方法，其特征在于，处理所述预设日志事件队列中日志事件，具体包括：
    逐一处理所述预设日志事件队列中日志事件，并清除已完成处理的日志事件。
  7. 如权利要求1所述的日志事件处理方法，其特征在于，处理所述预设日志事件队列中日志事件，具体包括：
    在当前处理的日志事件为日志文件修改事件时，判断所述预设日志事件队列中是否存在与当前所处理的日志文件修改事件所对应日志目录相同的预设日志事件；
    若是，处理所述预设日志事件；
    若否，处理所述日志文件修改事件；
    其中，所述预设日志事件为日志目录新增事件、日志目录删除事件、日志文件新增事件及日志文件删除之间中任意一种。
  8. 如权利要求7所述的日志事件处理方法，其特征在于，处理所述日志文件修改事件，具体包括：
    将所述日志事件队列中日志文件修改事件所对应的日志文件上传至预设服务器。
  9. 如权利要求7所述的日志事件处理方法，其特征在于，处理所述预设日志事件，具体包括：
    在所述预设日志事件为日志目录增加事件时，将所增加日志目录加入监听；
    在所述预设日志事件为日志目录删除事件时，取消对所删除日志目录的监听；
    在所述预设日志事件为日志文件增加事件时，将所述日志文件增加事件对应的日志文件上传至预设服务器；
    在所述预设日志事件为日志文件删除事件时，直接返回该预设日志事件处理结束。
  10. 如权利要求8或9所述的日志事件处理方法，其特征在于，将所述日志文件上传至预设服务器，具体包括：
    按块读取所述日志文件中字节数据，得到字节数据块；
    判断所述字节数据块最后一个字节是否为换行符，若是，将读取到的字节数据上传至服务器，若否，定位字节数据块中距离最后一个字节最近的换行符，将该换行符及该换行符之前的字节数据上传至服务器。
  11. 如权利要求1所述的日志事件处理方法，其特征在于，所述日志事件处理方法还包括：
    记录日志事件处理进度，具体包括：
    在当前所处理的日志事件为日志目录增加事件时，将所增加日志目录和日志文件加入至预设内存文件池；
    在当前所处理的日志事件为日志目录删除事件时，将所删除日志目录从预设内存文件池之中删除；
    在当前所处理的日志事件为日志文件增加事件时，将所增加日志文件加入至预设内存文件池；
    在当前所处理的日志事件为日志文件删除事件时，将所删除日志文件从预设内存文 件池之中删除；
    在当前所处理的日志事件为日志文件修改事件时，对预设内存文件池中对应日志文件做更新。
  12. 如权利要求11所述的日志事件处理方法，其特征在于，所述日志事件处理方法还包括：
    以预设时间间隔，将预设内存文件池中日志目录和日志文件刷入预设磁盘。
  13. 如权利要求1所述的日志事件处理方法，其特征在于，所述日志事件处理方法还包括：
    在日志事件处理进程重启时，从预设内存文件池获取时间最晚的日志事件；
    在所述预设日志事件队列中定位与所述预设内存文件池中时间最晚的日志事件相同的日志事件；
    将所述预设日志事件队列中定位到的日志事件所在位置作为所述重启位置；
    处理所述预设日志事件队列中日志事件，具体包括：
    处理所述预设日志事件队列中位于重启位置上的日志事件。
  14. 如权利要求1所述的日志事件处理方法，其特征在于，所述日志事件处理方法还包括：
    设置进程锁，仅保留启动时间最早的、针对相同预设日志目录范围的日志事件处理进程。
  15. 如权利要求1所述的日志事件处理方法，其特征在于，所述日志事件处理方法还包括：
    在获取日志事件处理停止请求时，停止获取日志文件中心中日志事件；
    判断预设日志事件队列中是否还有日志事件，若是，逐一处理所述预设日志事件队列中日志事件。
  16. 一种日志事件处理装置，其特征在于，包括：
    事件监听模块，监听日志文件中心，获取日志文件中心中日志事件；
    事件安置模块，将所述日志事件置于预设日志事件队列；
    队列去重模块，对所述预设日志事件队列中所对应日志目录相同的日志文件修改事件进行去重；
    队列处理模块，处理所述预设日志事件队列中日志事件。
  17. 如权利要求16所述的日志事件处理装置，其特征在于，事件监听模块，具体 用于：
    获取位于日志文件中心中预设日志目录范围上的日志事件。
  18. 如权利要求17所述的日志事件处理装置，其特征在于，事件监听模块，具体用于：
    对日志文件中心中所有日志目录进行正则表达式配置，获取每个日志目录的正则表达式；
    在日志文件中心发生日志事件时，获取所述日志事件所在日志目录的正则表达式；
    判断所获取日志事件所在日志目录的正则表达式与预设日志目录范围的正则表达式是否匹配；
    若是，获取该日志事件。
  19. 如权利要求16所述的日志事件处理装置，其特征在于，事件安置模块，具体用于：
    根据所述日志事件的获取时间顺序，将所述日志事件置于预设日志事件队列。
  20. 如权利要求16所述的日志事件处理装置，其特征在于，队列去重模块，具体用于：
    仅保留获取时间最早的日志文件修改事件。
  21. 如权利要求16所述的日志事件处理装置，其特征在于，队列处理模块，具体用于：
    逐一处理所述预设日志事件队列中日志事件，并清除已完成处理的日志事件。
  22. 如权利要求16所述的日志事件处理装置，其特征在于，队列处理模块，具体用于：
    在当前处理的日志事件为日志文件修改事件时，判断所述预设日志事件队列中是否存在与当前所处理的日志文件修改事件所对应日志目录相同的预设日志事件；
    若是，处理所述预设日志事件；
    若否，处理所述日志文件修改事件；
    其中，所述预设日志事件为日志目录新增事件、日志目录删除事件、日志文件新增事件及日志文件删除之间中任意一种。
  23. 如权利要求22所述的日志事件处理装置，其特征在于，队列处理模块，具体用于：
    将所述日志事件队列中日志文件修改事件所对应的日志文件上传至预设服务器。
  24. 如权利要求22所述的日志事件处理装置，其特征在于，队列处理模块，具体用于：
    在所述预设日志事件为日志目录增加事件时，将所增加日志目录加入监听；
    在所述预设日志事件为日志目录删除事件时，取消对所删除日志目录的监听；
    在所述预设日志事件为日志文件增加事件时，将所述日志文件增加事件对应的日志文件上传至预设服务器；
    在所述预设日志事件为日志文件删除事件时，直接返回该预设日志事件处理结束。
  25. 如权利要求23或24所述的日志事件处理装置，其特征在于，队列处理模块，具体用于：
    按块读取所述日志文件中字节数据，得到字节数据块；
    判断所述字节数据块最后一个字节是否为换行符，若是，将读取到的字节数据上传至服务器，若否，定位字节数据块中距离最后一个字节最近的换行符，将该换行符及该换行符之前的字节数据上传至服务器。
  26. 如权利要求1所述的日志事件处理装置，其特征在于，所述日志事件处理装置还包括进度记录模块，具体用于：
    在当前所处理的日志事件为日志目录增加事件时，将所增加日志目录和日志文件加入至预设内存文件池；
    在当前所处理的日志事件为日志目录删除事件时，将所删除日志目录从预设内存文件池之中删除；
    在当前所处理的日志事件为日志文件增加事件时，将所增加日志文件加入至预设内存文件池；
    在当前所处理的日志事件为日志文件删除事件时，将所删除日志文件从预设内存文件池之中删除；
    在当前所处理的日志事件为日志文件修改事件时，对预设内存文件池中对应日志文件做更新。
  27. 如权利要求26所述的日志事件处理装置，其特征在于，所述进度记录模块，还用于：
    以预设时间间隔，将预设内存文件池中日志目录和日志文件刷入预设磁盘。
  28. 如权利要求16所述的日志事件处理装置，其特征在于，所述日志事件处理装置还包括进程重启模块，具体用于：
    在日志事件处理进程重启时，从预设内存文件池获取时间最晚的日志事件；
    在所述预设日志事件队列中定位与所述预设内存文件池中时间最晚的日志事件相同的日志事件；
    将所述预设日志事件队列中定位到的日志事件所在位置作为所述重启位置；
    队列处理模块，具体用于：
    处理所述预设日志事件队列中位于重启位置上的日志事件。
  29. 如权利要求16所述的日志事件处理装置，其特征在于，所述日志事件处理装置还包括进程锁定模块，具体用于：
    设置进程锁，仅保留启动时间最早的、针对相同预设日志目录范围的日志事件处理进程。
  30. 如权利要求16所述的日志事件处理装置，其特征在于，所述日志事件处理装置还包括中断处理模块，具体用于：
    在获取日志事件处理停止请求时，停止获取日志文件中心中日志事件；
    判断预设日志事件队列中是否还有日志事件，若是，逐一处理所述预设日志事件队列中日志事件。
PCT/CN2016/081069 2015-05-13 2016-05-05 日志事件处理方法和装置 Ceased WO2016180265A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201510243117.7 2015-05-13
CN201510243117.7A CN106294351A (zh) 2015-05-13 2015-05-13 日志事件处理方法和装置

Publications (1)

Publication Number Publication Date
WO2016180265A1 true WO2016180265A1 (zh) 2016-11-17

Family

ID=57248568

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2016/081069 Ceased WO2016180265A1 (zh) 2015-05-13 2016-05-05 日志事件处理方法和装置

Country Status (2)

Country Link
CN (1) CN106294351A (zh)
WO (1) WO2016180265A1 (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106919499A (zh) * 2017-02-27 2017-07-04 郑州云海信息技术有限公司 一种采集日志消息的方法和装置
CN108388478A (zh) * 2018-02-07 2018-08-10 平安普惠企业管理有限公司 日志数据处理方法和系统
CN109460389A (zh) * 2018-11-29 2019-03-12 四川长虹电器股份有限公司 一种基于openresty的日志记录方法
CN111124830A (zh) * 2019-12-24 2020-05-08 个体化细胞治疗技术国家地方联合工程实验室（深圳） 一种微服务的监控方法及装置
CN112306980A (zh) * 2020-10-30 2021-02-02 深圳市元征科技股份有限公司 日志处理方法及终端设备
CN112579639A (zh) * 2019-09-29 2021-03-30 北京国双科技有限公司 数据处理方法、装置、电子设备及存储介质
CN114257502A (zh) * 2020-09-21 2022-03-29 华为终端有限公司 一种日志上报方法及装置
CN115269531A (zh) * 2022-09-29 2022-11-01 杭州玳数科技有限公司 一种基于akka框架的云原生日志收集方法和系统
CN116302677A (zh) * 2022-11-28 2023-06-23 南方电网数字平台科技(广东)有限公司 分布式时序数据库的实时在线备份方法及装置
US11739764B2 (en) 2018-02-12 2023-08-29 Edwards Limited Reinforced vacuum system component

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106874160B (zh) * 2017-01-23 2021-10-01 深圳市元宇宙科技有限公司 日志服务器及其管理方法
CN109165057B (zh) * 2017-06-28 2021-03-30 华为技术有限公司 一种智能设备执行任务的方法和装置
CN109508446B (zh) * 2017-09-14 2023-04-18 北京国双科技有限公司 一种日志处理方法和装置
CN107832406B (zh) * 2017-11-03 2020-09-11 北京锐安科技有限公司 海量日志数据的去重入库方法、装置、设备及存储介质
CN108012031B (zh) * 2017-11-30 2021-03-26 努比亚技术有限公司 移动终端重启定位方法、移动终端及计算机可读存储介质
CN108108257B (zh) * 2017-12-28 2022-03-18 努比亚技术有限公司 基于mdss的重启定位方法、移动终端及可读存储介质
CN108182133B (zh) * 2017-12-28 2022-01-14 努比亚技术有限公司 移动终端重启定位方法、移动终端及计算机可读存储介质
CN108733546A (zh) * 2018-04-02 2018-11-02 阿里巴巴集团控股有限公司 一种日志采集方法、装置及设备
CN108763454A (zh) * 2018-05-28 2018-11-06 郑州云海信息技术有限公司 分布式文件系统日志更新方法、系统、装置及存储介质
CN108923967B (zh) * 2018-06-27 2021-07-02 平安科技（深圳）有限公司 一种去重流量记录方法、装置、服务器及存储介质
CN109739738A (zh) * 2018-12-26 2019-05-10 深圳市网心科技有限公司 基于html5的事件日志管理方法、系统及相关装置
DE102021109775A1 (de) 2020-06-30 2021-12-30 Hewlett Packard Enterprise Development Lp Adaptive zeitfenster- basierte deduplizierung von protokollnachrichten
CN115599521A (zh) * 2022-10-21 2023-01-13 济南浪潮数据技术有限公司（Cn） 一种事件积压处理方法、装置、设备及介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101370032A (zh) * 2008-09-09 2009-02-18 中兴通讯股份有限公司 数据同步中的修改日志维护方法和装置
CN101763421A (zh) * 2009-12-24 2010-06-30 山东中创软件商用中间件股份有限公司 一种文件同步方法和装置
CN102946411A (zh) * 2012-10-15 2013-02-27 北京奇虎科技有限公司 网络同步系统
CN102946410A (zh) * 2012-10-15 2013-02-27 北京奇虎科技有限公司 网络同步方法和装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8370853B2 (en) * 2006-08-04 2013-02-05 Apple Inc. Event notification management
CN101833489B (zh) * 2010-05-06 2013-04-10 北京邮电大学 一种文件实时监控和智能备份的方法
CN102810073B (zh) * 2012-06-13 2014-11-12 天津大学 数据后台实时监控处理方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101370032A (zh) * 2008-09-09 2009-02-18 中兴通讯股份有限公司 数据同步中的修改日志维护方法和装置
CN101763421A (zh) * 2009-12-24 2010-06-30 山东中创软件商用中间件股份有限公司 一种文件同步方法和装置
CN102946411A (zh) * 2012-10-15 2013-02-27 北京奇虎科技有限公司 网络同步系统
CN102946410A (zh) * 2012-10-15 2013-02-27 北京奇虎科技有限公司 网络同步方法和装置

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106919499A (zh) * 2017-02-27 2017-07-04 郑州云海信息技术有限公司 一种采集日志消息的方法和装置
CN106919499B (zh) * 2017-02-27 2021-06-11 郑州云海信息技术有限公司 一种采集日志消息的方法和装置
CN108388478A (zh) * 2018-02-07 2018-08-10 平安普惠企业管理有限公司 日志数据处理方法和系统
CN108388478B (zh) * 2018-02-07 2020-10-27 平安普惠企业管理有限公司 日志数据处理方法和系统
US11739764B2 (en) 2018-02-12 2023-08-29 Edwards Limited Reinforced vacuum system component
CN109460389B (zh) * 2018-11-29 2021-08-06 四川长虹电器股份有限公司 一种基于openresty的日志记录方法
CN109460389A (zh) * 2018-11-29 2019-03-12 四川长虹电器股份有限公司 一种基于openresty的日志记录方法
CN112579639A (zh) * 2019-09-29 2021-03-30 北京国双科技有限公司 数据处理方法、装置、电子设备及存储介质
CN111124830A (zh) * 2019-12-24 2020-05-08 个体化细胞治疗技术国家地方联合工程实验室（深圳） 一种微服务的监控方法及装置
CN111124830B (zh) * 2019-12-24 2024-01-19 个体化细胞治疗技术国家地方联合工程实验室（深圳） 一种微服务的监控方法及装置
CN114257502A (zh) * 2020-09-21 2022-03-29 华为终端有限公司 一种日志上报方法及装置
CN114257502B (zh) * 2020-09-21 2023-08-22 华为终端有限公司 一种日志上报方法及装置
CN112306980A (zh) * 2020-10-30 2021-02-02 深圳市元征科技股份有限公司 日志处理方法及终端设备
CN115269531A (zh) * 2022-09-29 2022-11-01 杭州玳数科技有限公司 一种基于akka框架的云原生日志收集方法和系统
CN116302677A (zh) * 2022-11-28 2023-06-23 南方电网数字平台科技(广东)有限公司 分布式时序数据库的实时在线备份方法及装置

Also Published As

Publication number Publication date
CN106294351A (zh) 2017-01-04

Similar Documents

Publication Publication Date Title
WO2016180265A1 (zh) 日志事件处理方法和装置
US11422982B2 (en) Scaling stateful clusters while maintaining access
JP6514306B2 (ja) バックアップシステムからのデータベースのストリーミング復元
JP5731000B2 (ja) 差分バックアップからのデータベースの個別復元を実行する方法及びシステム
CN105765575B (zh) 数据流摄取和持久性技术
CN106202235B (zh) 一种数据处理方法及装置
CN109997126A (zh) 事件驱动提取、变换、加载（etl）处理
US11327927B2 (en) System and method for creating group snapshots
WO2018233630A1 (zh) 故障发现
JP2018516409A (ja) ファイルストレージにおけるインデックス付け実施方法及びシステム
US11086726B2 (en) User-based recovery point objectives for disaster recovery
CN107544832A (zh) 一种虚拟机进程的监控方法、装置和系统
US20230236936A1 (en) Automatic backup distribution for clustered databases
US20260119342A1 (en) Efficient file recovery from tiered cloud snapshots
CN116049306A (zh) 数据同步方法、装置、电子设备以及可读存储介质
CN120492231B (zh) 数据库数据处理方法、装置、设备和存储介质
US10592530B2 (en) System and method for managing transactions for multiple data store nodes without a central log
US10129328B2 (en) Centralized management of webservice resources in an enterprise
US10706012B2 (en) File creation
CN116648693A (zh) 用于备份文件系统的方法和设备
US12462036B2 (en) Efficient vulnerability analysis over backups
US10002053B1 (en) Optimized index usage for data restore
WO2023077283A1 (zh) 文件管理方法、装置及电子设备
US12547615B2 (en) Sensitive data discovery for databases
US12530317B2 (en) Storage and retrieval of filesystem metadata

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16792115

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16792115

Country of ref document: EP

Kind code of ref document: A1