WO2015045262A1 - ログ分析システム、障害原因分析システム、ログ分析方法、および、プログラムを記憶する記録媒体 - Google Patents

ログ分析システム、障害原因分析システム、ログ分析方法、および、プログラムを記憶する記録媒体 Download PDF

Info

Publication number
WO2015045262A1
WO2015045262A1 PCT/JP2014/004275 JP2014004275W WO2015045262A1 WO 2015045262 A1 WO2015045262 A1 WO 2015045262A1 JP 2014004275 W JP2014004275 W JP 2014004275W WO 2015045262 A1 WO2015045262 A1 WO 2015045262A1
Authority
WO
WIPO (PCT)
Prior art keywords
pattern
log
time
patterns
analysis system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2014/004275
Other languages
English (en)
French (fr)
Inventor
遼介 外川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to US15/021,740 priority Critical patent/US10152366B2/en
Priority to JP2015538856A priority patent/JP6332277B2/ja
Publication of WO2015045262A1 publication Critical patent/WO2015045262A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/0703—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
    • G06F11/079—Root cause analysis, i.e. error or fault diagnosis
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/0703—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
    • G06F11/0766—Error or fault reporting or storing
    • G06F11/0778—Dumping, i.e. gathering error/state information after a fault for later diagnosis

Definitions

  • the present invention relates to a technique for analyzing a log output from an information processing system.
  • an administrator When operating and maintaining an information processing system, a person who performs operation and maintenance (hereinafter referred to as an “administrator”) needs to identify the cause of the failure when the information processing system fails. .
  • the administrator identifies the cause of the failure, the log output by the information processing system can be an important clue.
  • the size of the log output by the information processing system is enormous, the administrator cannot analyze all of them in detail.
  • an administrator identifies the cause of a failure, a message indicating the direct or indirect cause of the failure (hereinafter referred to as “cause message”) from a huge amount of logs output by the information processing system. Need to be specified). Then, the administrator identifies the cause of the failure by analyzing in detail the identified cause message and a log around the cause message.
  • Patent Document 1 discloses an example of a technique for detecting a pattern of a message that appears at a frequency different from that during normal operation from an enormous size log output by an information processing system.
  • the technique disclosed in Patent Document 1 is based on a log output by an information processing system when the information processing system is operating normally (hereinafter referred to as “normal log”), and the appearance frequency of a message in the normal log.
  • normal log a log output by an information processing system when the information processing system is operating normally
  • normal pattern A typical pattern (hereinafter referred to as “normal pattern”) is extracted.
  • the technology disclosed in Patent Document 1 compares a normal pattern with an analysis target log (hereinafter, “analysis target log”) output by the information processing system, and extracts a difference between the two. Accordingly, the technique disclosed in Patent Document 1 can detect a message that appears from the analysis target log at a frequency different from that during normal operation.
  • analysis target log an analysis target log
  • Patent Document 1 does not disclose in detail how to extract a normal pattern from a normal log. In order to properly analyze the cause of the failure that has occurred in the information processing system, it is necessary to properly extract the normal pattern from the normal log.
  • the information processing apparatus When some process is executed in the information processing apparatus, the information processing apparatus outputs a plurality of messages in a predetermined time series in accordance with the execution of the process.
  • a plurality of messages in a predetermined chronological order output by the information processing apparatus in response to the execution of specific processing by the information processing apparatus will be referred to as “a series of messages”.
  • the normal log contains a huge number of messages.
  • “information for grouping a series of messages in units of processing” is necessary.
  • Patent Document 2 and Patent Document 3 disclose a technique for analyzing a log based on “information for grouping a series of messages by processing unit”.
  • Patent Document 2 uses a transaction ID included in a message as “information for grouping a series of messages in units of processing”.
  • the technology disclosed in Patent Literature 2 groups a plurality of messages including the same transaction ID as a series of messages related to the transaction based on the transaction ID included in the message.
  • Patent Document 3 uses information that predefines a series of messages related to a process as “information for grouping a series of messages by processing unit”.
  • the technique disclosed in Patent Document 3 is a technique disclosed in Patent Document 3, in which a plurality of messages are grouped as a series of messages related to a specific process based on the information.
  • An object of the present invention is to appropriately extract a normal pattern from a normal log or support the extraction without properly providing information for grouping a series of messages in units of processing. .
  • Dividing means for dividing the log group into a plurality of log groups that are a set of a plurality of log records that are sequentially continuous, and extracting a plurality of patterns composed of a plurality of events that are continuous in time series from the plurality of log groups, Extraction means for associating the pattern with frequency information indicating how many log records the pattern has been extracted from, a plurality of time-sequential events that constitute a pattern, and a time-series that constitutes another pattern Based on an inclusive relationship with a plurality of consecutive events and based on frequency information associated with the pattern.
  • Selection means for selecting a pattern to be output from the pattern of a log analysis system comprising a.
  • a computer stores a log file including information in which a plurality of log records, which are information in which an event is associated with the time when the event occurred, is arranged in chronological order, according to a predetermined rule. , Dividing into a plurality of log groups that are a set of a plurality of log records that are continuous in time series, and extracting a plurality of patterns composed of a plurality of events that are continuous in time series from the plurality of log groups, The pattern is associated with frequency information indicating how many log records the pattern has been extracted from, and a plurality of time series continuous events constituting a pattern and a time series continuous constituting another pattern Based on the inclusion relationship with a plurality of events and based on the frequency information associated with the pattern, the plurality of patterns. Selecting a pattern to be output from the emissions, a log analysis method.
  • a log file including information in which a plurality of log records, which are information in which an event is associated with the time when the event occurred, is arranged in a time-series order is stored in a computer according to a predetermined rule.
  • Processing to divide into a plurality of log groups that are a set of a plurality of log records continuous in time series, and extract a plurality of patterns composed of a plurality of events in time series from the plurality of log groups A process for associating the pattern with frequency information indicating how many log records the pattern has been extracted from, a plurality of events that form a pattern in time series, and a time series that forms another pattern Based on the inclusion relationship with a plurality of consecutive events, and based on frequency information associated with the pattern
  • the object of the present invention is also achieved by a program stored in a storage medium in addition to a computer-readable recording medium storing the above-described program.
  • FIG. 1 is a block diagram illustrating a log analysis system 100 according to the first embodiment of the present invention.
  • FIG. 2 is a diagram illustrating an example of a normal log 910 input to the log analysis system 100 according to the first embodiment of the present invention.
  • FIG. 3 is a block diagram showing the configuration of the log analysis system 100 according to the first embodiment of the present invention.
  • FIG. 4 is a diagram illustrating an example of the log file divided by the dividing unit 110 according to the first embodiment of the present invention.
  • FIG. 5 is a diagram illustrating an example of a pattern extracted by the extraction unit 120 according to the first embodiment of the present invention.
  • FIG. 6 is a diagram illustrating the operation of the selection unit 130 according to the first embodiment of the present invention.
  • FIG. 1 is a block diagram illustrating a log analysis system 100 according to the first embodiment of the present invention.
  • FIG. 2 is a diagram illustrating an example of a normal log 910 input to the log analysis system 100 according to the first embodiment of the present invention.
  • FIG. 7 is a diagram for explaining the operation of the selection unit 130 according to the first embodiment of the present invention.
  • FIG. 8 is a flowchart for explaining the operation of the log analysis system 100 according to the first embodiment of the present invention.
  • FIG. 9 is a diagram illustrating an example of a hardware configuration that implements the log analysis system 100.
  • FIG. 10 is a block diagram showing the configuration of the log analysis system 101 according to the second exemplary embodiment of the present invention.
  • FIG. 11A is a first diagram illustrating an example of a log file input to the conversion unit 150 according to the second embodiment of the present invention.
  • FIG. 11B is a second diagram illustrating an example of a log file input to the conversion unit 150 according to the second embodiment of the present invention.
  • FIG. 11C is a third diagram illustrating an example of a log file input to the conversion unit 150 according to the second embodiment of the present invention.
  • FIG. 12 is a diagram illustrating an example of a format according to the second embodiment of the present invention.
  • FIG. 13 is a diagram illustrating an example of a format according to the second embodiment of the present invention.
  • FIG. 14 is a flowchart for explaining the operation of the log analysis system 101 according to the second embodiment of the present invention.
  • FIG. 15 is a block diagram showing the configuration of a failure cause analysis system 300 according to the third exemplary embodiment of the present invention.
  • FIG. 16 is a flowchart for explaining the operation of the log analysis system 102 according to the fourth embodiment of the fourth embodiment of the present invention.
  • FIG. 1 is a block diagram illustrating a log analysis system 100 according to the first embodiment of the present invention.
  • the log analysis system 100 acquires a normal log 910 output from the information processing system 900.
  • the normal log 910 is a log output by the information processing system 900 when the information processing system 900 is operating normally.
  • the log analysis system 100 extracts information indicating what processing is executed in the information processing system 900 and how often, that is, a normal pattern 920. As will be described later, in the normal pattern 920, specific processing need not necessarily be specified.
  • the log analysis system 100 outputs the normal pattern 920 to the normal pattern storage unit 200.
  • an “information processing system 900” is an information processing apparatus that outputs a normal log 910 acquired by the log analysis system 100 according to the present embodiment and the log analysis system according to another embodiment of the present invention. is there. “Information processing system 900” is an information processing apparatus that outputs the analysis target log 990 acquired by the failure cause analysis system 300 according to another embodiment of the present invention.
  • FIG. 2 is a diagram for explaining an example of the normal log 910 output from the information processing system 900.
  • the normal log 910 is also called a log file.
  • the normal log 910 includes information in which a plurality of log records are arranged in chronological order.
  • the log record is information in which an event that has occurred in the information processing system 900 is associated with the time at which the event occurred. Log records are also called messages.
  • the log record is information corresponding to the “row” shown in FIG. Referring to the log record shown in the first line of FIG. 2, it can be seen that the event identified by the event ID (identifier) “A” occurred at time 09:04:01 in the information processing system 900. Referring to the log record shown in the second line in FIG. 2, it can be seen that the event identified by the event ID (identifier) “B” occurred at time 09:04:02 in the information processing system 900.
  • the event ID is an identifier that identifies an event that has occurred in the information processing system 900.
  • a log record indicating that event A has occurred at a certain time may be expressed as “a log record of event A”.
  • the information processing system 900 When the information processing system 900 executes some processing, the information processing system 900 generates a plurality of events in a predetermined time series according to the execution of the processing.
  • a plurality of events in a predetermined time series generated by the information processing system 900 in response to the information processing system 900 executing a specific process will be referred to as “a series of events”.
  • the present embodiment will be described based on the specific assumptions shown below.
  • the information processing system 900 executes (Process 1)
  • the information processing system 900 generates an event A, an event B, and an event C in this order.
  • the information processing system 900 executes (Process 2)
  • the information processing system 900 generates an event X and an event Y in this order.
  • the normal log 910 includes a huge amount of log records.
  • the log analysis system 100 extracts information indicating what processing is executed and how frequently based on the normal log 910. For example, the log analysis system 100 extracts information such as “Process 1 was executed 10 times and Process 2 was executed 18 times during a predetermined time” as the normal pattern 920.
  • the normal pattern 920 may be information such as “the pattern of event A ⁇ B ⁇ C occurred 10 times and the pattern of event X ⁇ Y occurred 18 times during a predetermined time”. Even if the normal pattern 920 is such information, it can sufficiently serve as a comparison target when analyzing the cause of the failure that has occurred in the information processing system 900.
  • the symbol “ ⁇ ” is a symbol indicating that events occurring before and after the symbol are continuous in time series in the normal log 910. That is, “A ⁇ B ⁇ C” indicates that in the normal log 910, the log record of event A, the log record of event B, and the log record of event C are consecutive in this order.
  • the symbol “ ⁇ ” may be omitted, and for example, “A ⁇ B ⁇ C” may be expressed as “ABC”.
  • event A log record, event B log record, and event C log record are associated with some processing” or “ The event X log record and the event Y log record are associated with a certain process ”.
  • the log analysis system 100 can appropriately extract the normal pattern 920 based on the normal log 910 without explicitly giving “information for grouping a series of log records in units of processing” in advance. . This is because the log analysis system 100 according to the present embodiment can extract “information for grouping a series of log records in units of processing” by itself based on the normal log 910.
  • the log analysis system 100 preliminarily states that “the event A log record, the event B log record, and the event C log record are related to some processing” or “the event X log record and the event Y log. Even if the information that the record is related to some processing is not given, such information can be extracted by itself based on the normal log 910.
  • the information processing system 900 has the following properties as a premise.
  • the information processing system 900 executes a plurality of processes in parallel.
  • the log record of the event related to the processing 1 and the log related to the processing 2 in the log file output by the information processing system 900 Records may be output mixed in time series.
  • the log record of the event related to the process 1 and the log record of the event related to the process 2 are: It is mixed in time series.
  • the event A ⁇ B ⁇ C is an event related to the process 1.
  • Event X ⁇ Y is an event related to process 2.
  • FIG. 3 is a block diagram showing the configuration of the log analysis system 100 shown in FIG. As illustrated in FIG. 3, the log analysis system 100 includes a dividing unit 110, an extracting unit 120, a selecting unit 130, and a normal pattern extracting unit 140.
  • the dividing unit 110 acquires the normal log 910 and divides the acquired normal log 910 into a plurality of log groups.
  • a log group is a set of a plurality of log records that are continuous in time series (details will be described later).
  • the extraction unit 120 extracts a plurality of “patterns” composed of a plurality of events that are continuous in time series from a plurality of log groups.
  • the extraction unit 120 associates the pattern with frequency information indicating how many log records the pattern has been extracted (details will be described later).
  • the selection unit 130 outputs from the plurality of patterns based on the inclusion relationship between a plurality of time-series continuous events constituting a certain pattern and a plurality of time-series continuous events constituting another pattern. Select a pattern.
  • the selection unit 130 selects a pattern to be output from the plurality of patterns based on the frequency information associated with the pattern (details will be described later).
  • the normal pattern extraction unit 140 extracts the normal pattern 920 from the normal log 910 based on the pattern output by the selection unit 130.
  • FIG. 4 is a diagram illustrating a state in which the normal log 910 illustrated in FIG. 2 is divided into a plurality of log groups by the dividing unit 110.
  • the log group illustrated in FIG. 4 is a log group when the dividing unit 110 divides the normal log 910 into log groups at intervals of 5 seconds.
  • the dividing unit 110 divides the normal log 910 at a predetermined time interval specified in advance. Preferably, the dividing unit 110 sets the normal log 910 at a time interval such that log records of a series of events output according to processing executed by the information processing system 900 are expected to be included in one log group. It is desirable to divide Although the time required for the information processing system 900 to execute a specific process varies each time depending on the load status of the information processing system 900, the dividing unit 110 calculates a value such as an average processing time and the like. It is desirable to determine the division time width based on the above.
  • a value such as a Poisson distribution of the execution time of the process or transaction may be taken into consideration.
  • FIG. 5 is a diagram illustrating an example of “patterns” extracted from a plurality of log groups by the extraction unit 120 and “frequency” at which the patterns are extracted.
  • a “pattern” is a combination of a plurality of events that are found in a log group and that are continuous in time series.
  • Frequency is information indicating how many log records the pattern is extracted from.
  • the extraction unit 120 extracts “patterns” from a plurality of log groups.
  • the extraction unit 120 associates the pattern with frequency information indicating how many log records the pattern is extracted from. For example, in FIG. 5, the frequency of the pattern “ABC” is 43. This means that the pattern “ABC” has been extracted from 43 log groups.
  • the extraction unit 120 extracts a pattern using, for example, apriori, prefixspan, LCM (Linear time Closed item set Miner), BIDE (Bi-Directional Execution) or FP (Frequent Pattern) -growth, or application of these algorithms.
  • a pattern associated with a specific process executed by the information processing system 900 is referred to as a “significant pattern”.
  • the pattern “ABC” is a pattern related to the process 1
  • it is a meaningful pattern.
  • the pattern “XY” is a pattern related to the process 2
  • it is a meaningful pattern.
  • a pattern that is not associated with a specific process executed by the information processing system 900 is referred to as a “nonsense pattern”.
  • One type of meaningless pattern is, for example, a pattern that is only a subset of meaningful patterns.
  • patterns such as “AB” or “BC” are meaningless patterns because they are not independently associated with any processing themselves.
  • Another type of meaningless pattern is, for example, a pattern in which some event is added to a meaningful pattern.
  • patterns such as “ABCX” or “XYA” are meaningless patterns because they are not independently associated with any processing themselves.
  • Another type of meaningless pattern is, for example, a pattern in which a pattern related to a certain process and a pattern related to another process are mixed in time series. For example, patterns such as “ABXCY” or “XAYBC” are meaningless patterns because they are not independently associated with any processing themselves.
  • the selection unit 130 selects a “significant pattern” from the plurality of patterns extracted by the extraction unit 120, and outputs the selected pattern as “information for grouping a series of messages in units of processing”.
  • the selection unit 130 can remove such a pattern as noise by not selecting a pattern having a frequency lower than a predetermined threshold.
  • the frequency with which the patterns “ABC” and “XY” associated with a specific process executed by the information processing system 900 are extracted is higher than the frequency of other patterns. Conceivable. However, for example, when the frequency of the pattern “ABC” is high, the frequency of the pattern “AB” or “BC” which is a subset of the pattern is naturally high. In addition, the frequency of a pattern such as “ABCX” or “YABC” in which some event is added to the pattern may be increased to some extent. Therefore, the selection unit 130 cannot select a “significant pattern” simply by selecting a frequently used pattern.
  • the selection unit 130 simply extracts a high-frequency pattern, a “significant pattern”, a “subset pattern of a meaningful pattern”, or a “pattern in which some event is added to a meaningful pattern” is generated. This is because they are extracted without distinction. The selection unit 130 cannot distinguish and select a “significant pattern” from these patterns.
  • the selection unit 130 selects a “significant pattern” from the plurality of patterns by the following operation. Hereinafter, the operation of the selection unit 130 will be specifically described.
  • the selection unit 130 outputs a pattern from a plurality of patterns based on the inclusion relationship between a plurality of time-series continuous events constituting a certain pattern and a plurality of time-series continuous events constituting another pattern. Select. Further, the selection unit 130 selects a pattern to be output from a plurality of patterns based on the frequency information associated with the pattern.
  • parent pattern and “child pattern” are defined.
  • child pattern When a plurality of time-sequential events constituting one pattern are a subset of a plurality of time-sequential events constituting the other pattern, the other pattern is changed to the one pattern.
  • the one pattern is defined as a child pattern of the other pattern.
  • the pattern “ABCD” is a parent pattern of the pattern “ABC”.
  • the pattern “AB” is a child pattern of the pattern “ABC”.
  • the term “grandchild pattern” or the like can also be defined.
  • the selection unit 130 analyzes the parent-child relationship for each of the patterns extracted by the extraction unit 120.
  • FIG. 6 is a diagram illustrating a state where the selection unit 130 analyzes the parent-child relationship for the pattern “ABCD”. As illustrated in FIG. 6, the selection unit 130 collects patterns having a common event order into the same classification set. Then, the selection unit 130 analyzes the parent-child relationship of the pattern based on the number of events (number of elements) included in the pattern.
  • the selection unit 130 extracts “a meaningful pattern” by combining the following specific examples.
  • the selection unit 130 analyzes a parent-child relationship for each of the plurality of patterns. As a result of the analysis by the selection unit 130, for example, a parent-child relationship such that the parent pattern is “ABCX”, the child pattern is “ABC”, and the grandchild pattern is “AB” with respect to the pattern “ABCX”. can get.
  • the selection unit 130 calculates the ratio of the frequency of the child pattern to the frequency of the parent pattern.
  • “/” is a symbol representing division.
  • the ratio is a relatively large value (for example, 2 or more), it is highly likely that the parent pattern is a “nonsense pattern”. This is because such a parent pattern is considered to be a pattern in which an event is simply added to a child pattern.
  • the selection unit 130 calculates the ratio of the frequency of the child pattern to the frequency of the parent pattern.
  • the selection unit 130 analyzes a parent-child relationship for each of the plurality of patterns.
  • the selection unit 130 may preferentially select a pattern having a large number of elements (events) constituting the pattern and high frequency as a “significant pattern”.
  • the pattern “ABC” has three elements (A, B, and C) and has a high frequency of 43, and therefore is preferentially selected as a “significant pattern”.
  • some judgment criteria for the number of elements constituting the pattern and judgment criteria for high and low frequencies may be determined in advance.
  • the selection unit 130 analyzes a parent-child relationship for each of the plurality of patterns.
  • FIG. 7 is a table in which the selection unit 130 analyzes how many parent patterns each pattern has for each pattern.
  • the selection unit 130 may preferentially select a child pattern having a larger number of parent patterns as a “significant pattern”.
  • the selection unit 130 analyzes a parent-child relationship for each of the plurality of patterns.
  • the selection unit 130 may select a “significant pattern” based on the support level of the pattern, the reliability of the parent pattern with respect to the child pattern, or the ratio (lift value) of the reliability to the support level.
  • the support level, the reliability level, or the lift value may be defined in advance by an operator, for example.
  • the selection unit 130 may preferentially select a child pattern that satisfies the pattern.
  • the child patterns “ABC” and “XY” satisfy the parent pattern “ABCXY”, and thus are preferentially selected.
  • the child pattern “XAB” or “XBC” does not satisfy the parent pattern “ABCXY” (eg, YC has a surplus in YAB), and is excluded from the candidates.
  • the specific example 1, specific example 2, specific example 3, specific example 4, and specific example 5 have been described above as the operation of the selection unit 130.
  • the selection unit 130 selects “ABC” and “XY” as “significant patterns” among the patterns extracted by the extraction unit 120 by the operation shown in the specific example described above.
  • the selection unit 130 outputs the selected pattern to the normal pattern extraction unit 140.
  • the normal pattern extraction unit 140 receives an input of “a meaningful pattern” from the selection unit 130.
  • the normal pattern extraction unit 140 extracts a normal pattern 920 from the normal log 910 based on the pattern.
  • FIG. 8 is a flowchart showing the operation of the log analysis system 100 according to the first embodiment.
  • the dividing unit 110 divides the normal log 910 (log file) into a plurality of log groups (step S101).
  • the extraction unit 120 extracts patterns from a plurality of log groups (step S102).
  • the selection unit 130 selects a “significant pattern” from the patterns extracted by the extraction unit 120, and outputs the selected “significant pattern” (step S103).
  • the normal pattern extraction unit 140 extracts the normal pattern 920 from the normal log 910 based on the pattern selected by the selection unit 130 (step S104).
  • FIG. 9 is a diagram illustrating an example of a hardware configuration that can implement the log analysis system 100.
  • the log analysis system 100 can be realized by a computer having the hardware configuration shown in FIG.
  • the computer includes a CPU (Central Processing Unit) 1, a memory 2, a storage device 3, and a communication interface (I / F) 4.
  • the log analysis system may include the input device 5 or the output device 6.
  • the function of the log analysis system is realized, for example, when the CPU 1 executes a computer program (software program, hereinafter simply referred to as “program”) read into the memory 2. In execution, the CPU 1 appropriately controls the communication interface 4, the input device 5, and the output device 6.
  • program software program
  • the present invention which will be described by taking this embodiment and each embodiment described later as an example, is also configured by a nonvolatile storage medium 8 such as a compact disk in which the program is stored.
  • the program stored in the storage medium 8 is read by the drive device 7, for example.
  • the communication executed by the log analysis system is realized, for example, by the application program controlling the communication interface 4 using a function provided by an OS (Operating System).
  • the input device 5 is, for example, a keyboard, a mouse, or a touch panel.
  • the output device 6 is a display, for example.
  • the log analysis system may be configured by connecting two or more physically separated devices so that they can communicate with each other in a wired or wireless manner. Note that the hardware configuration of the log analysis system and each functional block thereof is not limited to the above-described configuration. The above-described hardware configuration can also be applied to a log analysis system and a failure cause analysis system according to other embodiments described later.
  • the log analysis system 100 can assist in appropriately extracting or extracting the normal pattern 920 from the normal log 910 without being given in advance information for grouping a series of messages in units of processing. .
  • the reason is that the log analysis system 100 can extract “information for grouping a series of messages by processing unit” by itself based on the normal log 910.
  • the dividing unit 110, the extracting unit 120, the selecting unit 130, and the normal pattern extracting unit 140 each receive, for example, a pattern generation start command by a user or another program or software from an input device (not shown). The operation may be started when triggered.
  • the dividing unit 110, the extracting unit 120, the selecting unit 130, and the normal pattern extracting unit 140 may each start to operate when a log file is input or updated, for example.
  • the dividing unit 110 may divide the log file so that a predetermined number of log records form one log group. For example, the dividing unit 110 may divide the log file so that five log records form one log group.
  • the dividing unit 110 may acquire log files at predetermined time intervals. For example, the dividing unit 110 may operate such that a log file for 5 minutes is acquired at intervals of 5 minutes, and a log for 5 minutes is acquired at intervals of 3 minutes.
  • the extraction unit 120 may extract an event that is not continuous in time series as a pattern.
  • the extraction unit 120 may extract a pattern such as the pattern “ABXY”, “ACY”, or “BCY” from the log group 1 “ABCXY”.
  • the selection unit 130 may analyze the parent-child relationship based on events that are not consecutive in time series. For example, the selection unit 130 may associate a pattern such as “AC” or “ACX” as a child pattern with respect to the parent pattern “ABCX”.
  • FIG. 10 is a block diagram showing a configuration of a log analysis system 101 according to the second exemplary embodiment of the present invention. Components substantially the same as those shown in FIG. 3 are given the same reference numerals, and descriptions thereof are omitted.
  • the log analysis system 101 according to the second embodiment further includes a conversion unit 150 in addition to the log analysis system 100 according to the first embodiment.
  • the normal log 910 received by the log analysis system 100 has already been assigned an event ID for each log record, as shown in FIG.
  • the normal log 911 received by the log analysis system 101 is a log file closer to raw data.
  • the conversion unit 150 receives a log file as illustrated in FIG. 11A, FIG. 11B, or FIG. 11C, and converts the received log file into a log as illustrated in FIG.
  • FIGS. 11A, 11B, and 11C are diagrams illustrating examples of normal logs 911 (log files) received by the conversion unit 150, respectively.
  • the log file includes at least one log record.
  • the log record includes at least one log element.
  • the log element is an element constituting a log record such as date / time, log ID (identifier), and message.
  • the conversion unit 150 converts the normal log 911 according to a format defined in advance by the operator.
  • FIG. 12 is a diagram illustrating an example of a format defined in advance by the operator.
  • the format shown in FIG. 12 specifies a period “2013/07/01 09:00:00 to 2013/07/01 18:00:00”, and specifies log elements “date” and “log ID”. Yes.
  • information that can identify the log element to be extracted such as a regular expression of each log element, may be recorded in the format.
  • the format may record information that can identify the log file, such as the name of the target log file.
  • the format may record the structure of a log record composed of log elements as a regular expression.
  • FIG. 13 is a diagram showing another example of the format defined in advance by the operator.
  • FIG. 13 shows information associating an event ID with an expression (record expression) of an event to which the event ID is to be assigned.
  • the record expression is a character string representing each log record.
  • Each log record may be recorded as it is as a record expression.
  • the information which extracted the log element of each log record may be recorded as a record expression.
  • a regular expression that matches each log record may be recorded as the record expression.
  • the conversion unit 150 converts the log file as shown in FIG. 2 based on the format shown in FIG. To do.
  • the conversion unit 150 may read logs for the period specified in the log format from the information processing system 900. There may be a plurality of log files to be read.
  • the conversion unit 150 extracts a log element specified by the format from the acquired or read log file. For example, in the case of the format shown in FIG. 12, the conversion unit 150 extracts only the date and time and the log ID from the log record included in the log file.
  • the conversion unit 150 rearranges the converted logs in time series order and outputs them. Thereby, the division unit 110, the extraction unit 120, the selection unit 130, and the normal pattern extraction unit 140 can process the normal log 911.
  • FIG. 14 is a flowchart for explaining the operation of the log analysis system 101 according to the second embodiment. Steps that perform the same operations as those described in FIG. 8 are given the same reference numerals, and descriptions thereof are omitted.
  • the conversion unit 150 receives the log file 911 and converts the received log file so that an event ID is assigned to each log record (step S201).
  • the dividing unit 110 receives the log file converted from the converting unit 150.
  • the subsequent operations are the same as the operations shown in steps S101 to S104 in FIG.
  • the log analysis system 101 includes a conversion unit 150.
  • the conversion unit 150 converts the log output from the information processing system 900 into a format that can be processed by the division unit 110, the extraction unit 120, the selection unit 130, and the normal pattern extraction unit 140. Thereby, the log analysis system 101 can process the normal log 911 output in various formats.
  • FIG. 15 is a block diagram illustrating the configuration of a failure cause analysis system 300 according to the third embodiment of the present invention.
  • the failure cause analysis system 300 includes a second conversion unit 310, a pattern comparison unit 320, and an abnormal pattern output unit 330.
  • the second conversion unit 310 acquires the analysis target log 990 that is the analysis target log file output from the information processing system 900.
  • “information for grouping a series of messages in units of processing” selected by the selection unit 130 is registered in advance.
  • the second conversion unit 310 extracts a pattern from the analysis target log 990 based on “information for grouping a series of messages by processing unit”.
  • the pattern comparison unit 320 compares the pattern converted by the second conversion unit 310 with the analysis target log 990 and the pattern stored in the normal pattern storage unit 200.
  • the pattern comparison unit 320 extracts a pattern different from the normal pattern 920 in the pattern obtained by converting the analysis target log 990.
  • the abnormal pattern output unit 330 outputs an abnormal part in the analysis target log 990 based on the result of the comparison performed by the pattern comparison unit 320.
  • a message indicating a direct or indirect cause of occurrence of the failure is extracted from an enormous amount of logs output by the information processing system 900 and output. can do.
  • FIG. 16 is a block diagram showing the configuration of the log analysis system 102 according to the fourth exemplary embodiment of the present invention. As illustrated in FIG. 16, the log analysis system 102 includes a dividing unit 112, an extracting unit 122, and a selecting unit 132.
  • the dividing unit 112 divides the log file into a plurality of log groups according to a predetermined rule.
  • the log file includes information in which a plurality of log records, which are information in which an event is associated with the time at which the event occurred, are arranged in chronological order.
  • the log group is a set of a plurality of log records that are continuous in time series.
  • the extraction unit 122 extracts a plurality of patterns composed of a plurality of events that are continuous in time series from the plurality of log groups, and the frequency representing how many log records the pattern is extracted from. Associate with information.
  • the selection unit 132 selects a pattern to be output from the plurality of patterns. At that time, the selection unit 132 is based on the inclusion relationship between a plurality of events in a time series that form a certain pattern and a plurality of events in a time series that form another pattern, and A selection is made based on frequency information associated with the pattern.
  • each block diagram is a configuration shown for convenience of explanation.
  • the present invention described by taking each embodiment as an example is not limited to the configuration shown in each block diagram in the implementation.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Debugging And Monitoring (AREA)

Abstract

　正常ログから正常パターンを適切に抽出すること、または抽出することを支援する。　複数のログレコードが時系列順に整列された情報を含むログファイルを、所定のルールに従って、複数のロググループへと分割し、複数の前記ロググループから、時系列的に連続する複数のイベントによって構成される複数のパターンを抽出し、前記パターンを、当該パターンが幾つのログレコードから抽出されたかを表す頻度情報と関連づけ、あるパターンを構成する時系列的に連続する複数のイベントと、他のパターンを構成する時系列的に連続した複数のイベントとの包含関係に基づいて、かつ、前記パターンに関連づけられた頻度情報に基づいて、前記複数のパターンから出力すべきパターンを選択する。

Description

ログ分析システム、障害原因分析システム、ログ分析方法、および、プログラムを記憶する記録媒体
　本発明は、情報処理システムが出力するログを分析する技術に関する。
　情報処理システムを運用保守する際には、運用保守を行う者（以下、「管理者」と記載する）は、当該情報処理システムに障害が発生した場合、当該障害の原因を特定する必要がある。管理者が障害の原因を特定する際に、当該情報処理システムが出力したログは重要な手がかりとなり得る。しかし、情報処理システムが出力するログのサイズは膨大であるので、管理者はその全てを詳細に分析することはできない。
　そのため、管理者が障害の原因を特定する際には、情報処理システムが出力する膨大な量のログから、当該障害が発生した直接的または間接的な原因を示すメッセージ（以下、「原因メッセージ」と記載する）を特定する必要がある。そして管理者は、特定された原因メッセージ、および、当該原因メッセージの周辺のログを詳細に分析することにより、障害の原因を特定する。
　特許文献１は、情報処理システムが出力する膨大なサイズのログから、正常動作時とは異なる頻度で出現するメッセージのパターンを検出する技術の一例を開示する。特許文献１が開示する技術は、情報処理システムが正常に動作していた際に当該情報処理システムが出力したログ（以下、「正常ログ」と記載する）から、正常ログにおけるメッセージの出現頻度等の典型的なパターン（以下、「正常パターン」と記載する）を抽出する。特許文献１が開示する技術は、正常パターンと、当該情報処理システムが出力した分析対象のログ（以下、「分析対象ログ」）とを比較し、両者の差分を抽出する。これにより特許文献１が開示する技術は、分析対象ログから正常動作時とは異なる頻度で出現するメッセージを検出することができる。
特許第４９４４３９１号公報 特開２０１２－１９４６０４号公報 特開２０１２－１６８７０２号公報
　特許文献１は、正常ログから正常パターンをどのように抽出するかについて、詳細には開示していない。情報処理システムに発生した障害の原因分析が適切に行われるためには、正常ログから正常パターンが適切に抽出されることが必要である。
　「正常ログから正常パターンを適切に抽出する」ということについて説明する。「正常ログから正常パターンを適切に抽出する」ということは、正常ログに基づいて、情報処理装置においてどのような処理がどれくらいの頻度で実行されたかを示す情報を抽出する、ということである。
　情報処理装置において何らかの処理が実行されると、情報処理装置は、当該処理が実行されたことに応じて複数のメッセージを所定の時系列順に出力する。以降、情報処理装置が特定の処理を実行したことに応じて当該情報処理装置が出力した所定の時系列順の複数のメッセージを、「一連のメッセージ」と記載する。
　正常ログには、膨大な数量のメッセージが含まれる。正常ログに基づいて、どのような処理がどれくらいの頻度で実行されたかを示す情報を抽出するためには、「一連のメッセージを処理単位でグループ化する情報」が必要である。
　特許文献２および特許文献３は、「一連のメッセージを処理単位でグループ化する情報」に基づいて、ログを分析する技術を開示する。
　特許文献２が開示する技術は、メッセージに含まれるトランザクションＩＤを「一連のメッセージを処理単位でグループ化する情報」として用いる。特許文献２が開示する技術は、メッセージに含まれるトランザクションＩＤに基づいて、同一のトランザクションＩＤを含む複数のメッセージを、当該トランザクションに関連する一連のメッセージとしてグルーピングする。
　特許文献３が開示する技術は、プロセスに関連する一連のメッセージを事前に定義した情報を、「一連のメッセージを処理単位でグループ化する情報」として用いる。特許文献３が開示する技術は、特許文献３が開示する技術は、当該情報に基づいて、複数のメッセージを、特定のプロセスに関連する一連のメッセージとしてグルーピングする。
　しかし、正常ログから正常パターンを適切に抽出する場合において、「一連のメッセージを処理単位でグループ化する情報」は、必ずしも事前に与えられるとは限らない。特許文献２が開示する技術において、メッセージにトランザクションＩＤが付与されていない状況も考えられる。
　本発明は、一連のメッセージを処理単位でグループ化する情報が事前に与えられることなしに、正常ログから正常パターンを適切に抽出すること、または抽出することを支援することを目的の１つとする。
　本発明の第１の側面は、イベントと当該イベントが発生した時刻とが関連づけられた情報である複数のログレコードが時系列順に整列された情報を含むログファイルを、所定のルールに従って、時系列順に連続する複数のログレコードの集合である複数のロググループへと分割する分割手段と、複数の前記ロググループから、時系列的に連続する複数のイベントによって構成される複数のパターンを抽出し、前記パターンを、当該パターンが幾つのログレコードから抽出されたかを表す頻度情報と関連づける抽出手段と、あるパターンを構成する時系列的に連続する複数のイベントと、他のパターンを構成する時系列的に連続した複数のイベントとの包含関係に基づいて、かつ、前記パターンに関連づけられた頻度情報に基づいて、前記複数のパターンから出力すべきパターンを選択する選択手段と、を備えるログ分析システムである。
　本発明の第２の側面は、コンピュータが、イベントと当該イベントが発生した時刻とが関連づけられた情報である複数のログレコードが時系列順に整列された情報を含むログファイルを、所定のルールに従って、時系列順に連続する複数のログレコードの集合である複数のロググループへと分割し、複数の前記ロググループから、時系列的に連続する複数のイベントによって構成される複数のパターンを抽出し、前記パターンを、当該パターンが幾つのログレコードから抽出されたかを表す頻度情報と関連づけ、あるパターンを構成する時系列的に連続する複数のイベントと、他のパターンを構成する時系列的に連続した複数のイベントとの包含関係に基づいて、かつ、前記パターンに関連づけられた頻度情報に基づいて、前記複数のパターンから出力すべきパターンを選択する、ログ分析方法である。
　本発明の第３の側面は、コンピュータに、イベントと当該イベントが発生した時刻とが関連づけられた情報である複数のログレコードが時系列順に整列された情報を含むログファイルを、所定のルールに従って、時系列順に連続する複数のログレコードの集合である複数のロググループへと分割する処理と、複数の前記ロググループから、時系列的に連続する複数のイベントによって構成される複数のパターンを抽出し、前記パターンを、当該パターンが幾つのログレコードから抽出されたかを表す頻度情報と関連づける処理と、あるパターンを構成する時系列的に連続する複数のイベントと、他のパターンを構成する時系列的に連続した複数のイベントとの包含関係に基づいて、かつ、前記パターンに関連づけられた頻度情報に基づいて、前記複数のパターンから出力すべきパターンを選択する処理と、を実行させるプログラムを記録する記憶媒体である。
　また、本発明の目的は、上記のプログラムが格納されたコンピュータ読み取り可能な記録媒体に加えて、その記憶媒体に格納されているプログラムによっても達成される。
　本発明によれば、一連のメッセージを処理単位でグループ化する情報が事前に与えられることなしに、正常ログから正常パターンを適切に抽出すること、または抽出することを支援することができる。
図１は、本発明の第１の実施形態にかかるログ分析システム１００を説明するブロック図である。 図２は、本発明の第１の実施形態にかかるログ分析システム１００に入力される正常ログ９１０の一例を表す図である。 図３は、本発明の第１の実施形態にかかるログ分析システム１００の構成を表すブロック図である。 図４は、本発明の第１の実施形態にかかる分割部１１０によって分割されたログファイルの一例を表す図である。 図５は、本発明の第１の実施形態にかかる抽出部１２０によって抽出されたパターンの一例を表す図である。 図６は、本発明の第１の実施形態にかかる選択部１３０の動作を説明する図である。 図７は、本発明の第１の実施形態にかかる選択部１３０の動作を説明する図である。 図８は、本発明の第１の実施形態にかかるログ分析システム１００の動作を説明するフローチャートである。 図９は、ログ分析システム１００を実現するハードウェア構成の一例を表す図である 図１０は、本発明の第２の実施形態にかかるログ分析システム１０１の構成を表すブロック図である。 図１１Ａは、本発明の第２の実施形態にかかる変換部１５０に入力されるログファイルの一例を表す第１の図である。 図１１Ｂは、本発明の第２の実施形態にかかる変換部１５０に入力されるログファイルの一例を表す第２の図である。 図１１Ｃは、本発明の第２の実施形態にかかる変換部１５０に入力されるログファイルの一例を表す第３の図である。 図１２は、本発明の第２の実施形態にかかるフォーマットの一例を表す図である。 図１３は、本発明の第２の実施形態にかかるフォーマットの一例を表す図である。 図１４は、本発明の第２の実施形態にかかるログ分析システム１０１の動作を説明するフローチャートである。 図１５は、本発明の第３の実施形態にかかる障害原因分析システム３００の構成を表すブロック図である。 図１６は、本発明の第４の実施形態にかかる第４の実施形態にかかるログ分析システム１０２の動作を説明するフローチャートである。
　以下、本発明の実施形態について、図面を参照して詳細に説明する。
　＜第１の実施形態＞
　図１は、本発明の第１の実施形態にかかるログ分析システム１００を説明するブロック図である。図１に示すように、ログ分析システム１００は、情報処理システム９００から出力された正常ログ９１０を取得する。上述したように、正常ログ９１０とは、情報処理システム９００が正常に動作していた際に当該情報処理システム９００が出力したログである。ログ分析システム１００は、正常ログ９１０に基づいて、情報処理システム９００においてどのような処理がどれくらいの頻度で実行されたかを示す情報、すなわち正常パターン９２０を抽出する。なお、後述するように、正常パターン９２０においては、必ずしも具体的な処理が特定される必要はない。ログ分析システム１００は、正常パターン９２０を、正常パターン記憶部２００に出力する。以下の説明において、「情報処理システム９００」は、本実施形態に係るログ分析システム１００及び本発明の他の実施形態に係るログ分析システムによって取得される、正常ログ９１０を出力する情報処理装置である。「情報処理システム９００」本発明の他の実施形態に係る障害原因分析システム３００によって取得される、分析対象ログ９９０を出力する情報処理装置でもある。
　図２は、情報処理システム９００から出力された正常ログ９１０の一例を説明する図である。正常ログ９１０は、ログファイルとも呼ばれる。正常ログ９１０は、複数のログレコードが時系列順に整列された情報を含む。
　ログレコードは、情報処理システム９００において発生したイベントと当該イベントが発生した時刻とが関連づけられた情報である。ログレコードは、メッセージとも呼ばれる。ログレコードは、図２に示した「行」に相当する情報である。図２の１行目に示したログレコードを参照すると、情報処理システム９００において、イベントＩＤ（識別子）「Ａ」によって識別されるイベントが時刻０９：０４：０１に発生したことがわかる。図２の２行目に示したログレコードを参照すると、情報処理システム９００において、イベントＩＤ（識別子）「Ｂ」によって識別されるイベントが時刻０９：０４：０２に発生したことがわかる。イベントＩＤは、情報処理システム９００において発生したイベントを識別する識別子である。
　以降、実施形態を説明する際に、イベントを特定する必要がある場合には、イベントＩＤを用いて特定する。また、以降、例えば「ある時刻においてイベントＡが発生したことを示すログレコード」を、「イベントＡのログレコード」と表現する場合がある。
　情報処理システム９００が何らかの処理を実行すると、情報処理システム９００は、当該処理が実行されたことに応じて複数のイベントを所定の時系列順に発生する。以降、情報処理システム９００が特定の処理を実行したことに応じて当該情報処理システム９００が発生する所定の時系列順の複数のイベントを、「一連のイベント」と記載する。
　理解を容易にするため、以下に示すような具体的な前提をおいて、本実施形態を説明する。情報処理システム９００が（処理１）を実行した場合、情報処理システム９００は、イベントＡ、イベントＢおよびイベントＣをこの順番で発生することとする。情報処理システム９００が（処理２）を実行した場合、情報処理システム９００は、イベントＸ、およびイベントＹをこの順番で発生することとする。
　従って、情報処理システム９００は、（処理１）を実行した場合、イベントＡのログレコード、イベントＢのログレコードおよびイベントＣのログレコードを、この順番で出力する。情報処理システム９００は、（処理２）を実行した場合、イベントＸのログレコードおよびイベントＹのログレコードを、この順番で出力する。
　正常ログ９１０には、膨大な数量のログレコードが含まれる。ログ分析システム１００は、正常ログ９１０に基づいてどのような処理がどれくらいの頻度で実行されたかを示す情報を抽出する。例えば、ログ分析システム１００は、「所定時間の間に処理１が１０回実行され処理２が１８回実行された」というような情報を正常パターン９２０として抽出する。なお、正常パターン９２０にあっては、必ずしも具体的な処理が特定される必要はない。例えば、正常パターン９２０は「所定時間の間にイベントＡ→Ｂ→Ｃというパターンが１０回発生し、イベントＸ→Ｙというパターンが１８回発生した」というような情報でもよい。正常パターン９２０がこのような情報であっても、情報処理システム９００に発生した障害の原因を分析する際の比較対象としての役割は十分に果たすことができる。
　なお、記号「→」は、当該記号の前後に発生したイベントが、正常ログ９１０において時系列的に連続していることを示す記号である。すなわち、「Ａ→Ｂ→Ｃ」とは、正常ログ９１０においてイベントＡのログレコードとイベントＢのログレコードとイベントＣのログレコードとがこの順番で連続していることを示す。以降、複数のイベントが連続して発生したことを表す際に、記号「→」を省略して、例えば「Ａ→Ｂ→Ｃ」を「ＡＢＣ」と表現する場合がある。
　ログ分析システム１００が正常ログ９１０に基づいてこのような情報を抽出するためには、「一連のログレコードを処理単位でグループ化する情報」が必要である。
　ここで、「一連のログレコードを処理単位でグループ化する情報」は、例えば、「イベントＡのログレコード、イベントＢのログレコードおよびイベントＣのログレコードが何らかの処理に関連付いている」あるいは「イベントＸのログレコードおよびイベントＹのログレコードが何らかの処理に関連付いている」という情報である。
　本実施形態にかかるログ分析システム１００は、事前に「一連のログレコードを処理単位でグループ化する情報」を明示的に与えられることなく、正常ログ９１０に基づいて正常パターン９２０を適切に抽出できる。なぜなら、本実施形態にかかるログ分析システム１００は、正常ログ９１０に基づいて、「一連のログレコードを処理単位でグループ化する情報」を自ら抽出することができるからである。
　言い換えると、ログ分析システム１００は、事前に「イベントＡのログレコード、イベントＢのログレコードおよびイベントＣのログレコードが何らかの処理に関連付いている」あるいは「イベントＸのログレコードおよびイベントＹのログレコードが何らかの処理に関連付いている」という情報を与えられていなくても、正常ログ９１０に基づいて、このような情報を自ら抽出することができる、ということである。
　本実施形態にかかる情報処理システム９００は、前提として、下記に示すような性質を有するものとする。
　（前提１）情報処理システム９００は、複数の処理を並行して実行する。
　（前提２）例えば情報処理システム９００が、処理１と処理２とを並列に実行すると、情報処理システム９００が出力するログファイルにおいて処理１に関連するイベントのログレコードと、処理２に関連するログレコードとが、時系列的に混ざって出力される場合がある。例えば、図２に示す０９：０４：１２から０９：０４：１６までに出力されたログレコードにおいては、処理１に関連するイベントのログレコードと、処理２に関連するイベントのログレコードとが、時系列的に混ざっている。図２に示す例では、イベントＡ→Ｂ→Ｃが、処理１に関連するイベントである。イベントＸ→Ｙが、処理２に関連するイベントである。
　（前提３）上述したような、ある処理に関連するイベントのログレコードと、他の処理に関連するイベントのログレコードとが、時系列的に混ざって出力されることは、稀である。ほとんどの場合、特定の処理に関連するイベントのログレコードは、ログファイルにおいて時系列的に連続となる。
　かかる前提に基づいて、ログ分析システム１００が、正常ログ９１０からどのように正常パターン９２０を適切に抽出するかを、以下、詳細に説明する。
　図３は、図１に示すログ分析システム１００の構成を示すブロック図である。図３に示すように、ログ分析システム１００は、分割部１１０と、抽出部１２０と、選択部１３０と、正常パターン抽出部１４０と、を備える。
　分割部１１０は、正常ログ９１０を取得し、取得した正常ログ９１０を複数のロググループへと分割する。ロググループは、時系列的に連続する複数のログレコードの集合である（詳細は後述する）。
　抽出部１２０は、複数のロググループから、時系列的に連続する複数のイベントから構成される複数の「パターン」を抽出する。抽出部１２０は、パターンを、当該パターンが幾つのログレコードから抽出されたかを表す頻度情報と関連づける（詳細は後述する）。
　選択部１３０は、あるパターンを構成する時系列的に連続する複数のイベントと他のパターンを構成する時系列的に連続した複数のイベントとの包含関係に基づいて、前記複数のパターンから出力するパターンを選択する。また、選択部１３０は、前記パターンに関連づけられた頻度情報に基づいて、前記複数のパターンから出力するパターンを選択する（詳細は後述する）。
　正常パターン抽出部１４０は、選択部１３０が出力したパターンに基づいて、正常ログ９１０から正常パターン９２０を抽出する。
　分割部１１０の詳細を説明する。図４は、図２に示す正常ログ９１０が、分割部１１０によって複数のロググループに分割された様子を説明する図である。図４に示すロググループは、分割部１１０が、５秒間隔で、正常ログ９１０をロググループに分割した場合における、ロググループである。
　分割部１１０は、あらかじめ指定された所定の時間間隔で正常ログ９１０を分割する。好ましくは、分割部１１０は、情報処理システム９００が実行する処理に応じて出力される一連のイベントのログレコードが、一つのロググループに包含されると見込まれる程度の時間間隔で、正常ログ９１０を分割することが望ましい。情報処理システム９００が特定の処理を実行するのに要する時間は、情報処理システム９００の負荷状況等によって毎回異なるが、分割部１１０は例えば、平均処理時間等の値を算出し、このような値に基づいて分割の時間幅を決定することが望ましい。
　分割の時間幅を決定する際には、プロセスまたはトランザクションの実行時間のポアソン分布等の値が参酌されてもよい。
　抽出部１２０の詳細を説明する。図５は、抽出部１２０によって複数のロググループから抽出された「パターン」の一例と、当該パターンが抽出された「頻度」とを表す図である。「パターン」とは、ロググループの中に見られる、時系列的に連続する複数のイベントから構成される組み合わせである。「頻度」とは、当該パターンが幾つのログレコードから抽出されたかを表す情報である。
　具体例を用いて説明する。例えば、抽出部１２０が、図４に示すロググループ１からパターンを抽出する場合を考える。ロググループ１を構成する時系列的に連続する複数のログレコードは、すなわち「ＡＢＣＸＹ」である。抽出部１２０が、ロググループ１から抽出し得るパターンを、以下に列挙する。「ＡＢＣＸＹ」、「ＡＢＣＸ」、「ＢＣＸＹ」、「ＡＢＣ」、「ＢＣＸ」、「ＣＸＹ」、「ＡＢ」、「ＢＣ」、「ＣＸ」、「ＸＹ」、「Ａ」、「Ｂ」、「Ｃ」、「Ｘ」、「Ｙ」。
　抽出部１２０は、複数のロググループから「パターン」を抽出する。抽出部１２０は、パターンを、当該パターンが幾つのログレコードから抽出されたかを表す頻度情報と関連づける。例えば図５において、パターン「ＡＢＣ」の頻度は４３である。これは、パターン「ＡＢＣ」は、４３個のロググループから抽出されたことを意味する。
　抽出部１２０がパターンを抽出する具体的な方法としては、さまざまなアルゴリズムを用いることができる。抽出部１２０は例えば、apriori、prefixspan、LCM (Linear time Closed itemset Miner)、BIDE (Bi-Directional Execution)もしくはFP (Frequent Pattern)-growth、またはこれらのアルゴリズムの応用を用いて、パターンを抽出する。
　以降、情報処理システム９００が実行する特定の処理に関連付くパターンを、「意味のあるパターン」と記載する。例えば、パターン「ＡＢＣ」は処理１に関連するパターンなので、意味のあるパターンである。例えば、パターン「ＸＹ」は処理２に関連するパターンなので、意味のあるパターンである。
　以降、情報処理システム９００が実行する特定の処理に関連付かないパターンを、「意味の無いパターン」と記載する。意味の無いパターンの１つの類型は、例えば、意味のあるパターンの部分集合に過ぎないパターンである。例えば、「ＡＢ」または「ＢＣ」などのパターンは、独立してそれ自身何らかの処理に関連付いているわけではないので、意味のないパターンである。意味の無いパターンの他の類型は、例えば、意味のあるパターンに何らかのイベントが付加されたパターンである。例えば、「ＡＢＣＸ」または「ＸＹＡ」などのパターンは、独立してそれ自身何らかの処理に関連付いているわけではないので、意味のないパターンである。意味の無いパターンの他の類型は、例えば、ある処理に関連するパターンと他の処理に関連するパターンとが時系列的に混じっているパターンである。例えば、「ＡＢＸＣＹ」または「ＸＡＹＢＣ」などのパターンは、独立してそれ自身何らかの処理に関連付いているわけではないので、意味のないパターンである。
　選択部１３０の詳細を説明する。選択部１３０は、抽出部１２０が抽出した複数のパターンのうちから、「意味のあるパターン」を選択し、選択したパターンを「一連のメッセージを処理単位でグループ化する情報」として出力する。
　上述した（前提３）を鑑みると、ある処理に関連するパターンと他の処理に関連するパターンとが時系列的に混じっているパターンは稀である。そのため、選択部１３０は、所定の閾値よりも低い頻度のパターンを選択しないことによって、このようなパターンをノイズとして除去することができる。
　同様に、上述した（前提３）を鑑みると、情報処理システム９００が実行する特定の処理に関連付くパターン「ＡＢＣ」および「ＸＹ」が抽出される頻度は、他のパターンの頻度よりも高くなると考えられる。しかし、例えば、パターン「ＡＢＣ」の頻度が高い場合には、当該パターンの部分集合であるパターン「ＡＢ」または「ＢＣ」の頻度も、当然に高くなる。また、当該パターンに何らかのイベントが付加された「ＡＢＣＸ」または「ＹＡＢＣ」などのパターンの頻度もある程度高くなることが考えられる。よって選択部１３０は、単純に頻度の高いパターンを選択するのみでは、「意味のあるパターン」を選択することはできない。
　なぜなら、選択部１３０が単純に頻度の高いパターンを抽出すると、「意味のあるパターン」、「意味のあるパターンの部分集合のパターン」または「意味のあるパターンに何らかのイベントが付加されたパターン」が区別なく抽出されるからである。選択部１３０はこれらのパターンから「意味のあるパターン」を区別して選択することはできない。
　選択部１３０は、以下に示す動作によって、これら複数のパターンから、「意味のあるパターン」を選択する。以下、選択部１３０の動作を具体的に説明する。
　選択部１３０は、あるパターンを構成する時系列的に連続する複数のイベントと他のパターンを構成する時系列的に連続した複数のイベントとの包含関係に基づいて、複数のパターンから出力するパターンを選択する。また、選択部１３０は、パターンに関連づけられた頻度情報に基づいて、複数のパターンから出力するパターンを選択する。
　理解を容易にするため、「親パターン」、「子パターン」という用語を定義する。一方のパターンを構成する時系列的に連続する複数のイベントが、他方のパターンを構成する時系列的に連続する複数のイベントの部分集合である場合に、前記他方のパターンを前記一方のパターンの親パターンと定義する。また、前記一方のパターンを前記他方のパターンの子パターンと定義する。例えば、「ＡＢＣＤ」というパターンは、「ＡＢＣ」というパターンの親パターンである。例えば、「ＡＢ」というパターンは、「ＡＢＣ」というパターンの子パターンである。同様に、「孫パターン」という用語等も定義することができる。
　選択部１３０は、抽出部１２０が抽出したパターンのそれぞれについて親子関係を分析する。図６は、選択部１３０が「ＡＢＣＤ」というパターンについて親子関係を分析した様子を表す図である。図６に示すように、選択部１３０は、イベントの順序が共通するパターンを同じ分類集合にまとめる。そして、選択部１３０は、パターンに含まれるイベント数（要素数）に基づいて、パターンの親子関係を分析する。
　以下、選択部１３０の動作として、具体例１から具体例４までを説明する。選択部１３０は、例えば、下記に示す具体例を組み合わせることにより、「意味のあるパターン」を抽出する。
　（具体例１）
　選択部１３０は、前記複数のパターンのそれぞれについて親子関係を分析する。選択部１３０による分析の結果、例えば、パターン「ＡＢＣＸ」に対して、親パターンが「ＡＢＣＸ」であり、子パターンが「ＡＢＣ」であり、孫パターンが「ＡＢ」であるというような親子関係が得られる。
　選択部１３０は、親パターンの頻度に対する子パターンの頻度の比を算出する。図５に示した例では、親パターン「ＡＢＣＸ」の頻度は１７であり、子パターン「ＡＢＣ」の頻度は４３であるので、頻度の比は４３／１７＝２．５である。ここで「／」は除算を表す記号である。ここで、当該比が比較的大きな値の場合（例えば２以上の場合など）、当該親パターンは「意味の無いパターン」である可能性が高いと考えられる。なぜなら、そのような親パターンは、子パターンに単にイベントが付加しただけのパターンと考えられるからである。
　同様に選択部１３０は、親パターンの頻度に対する子パターンの頻度の比を算出する。図５に示した例では、親パターン「ＡＢＣ」の頻度は４３であり、子パターン「ＡＢ」の頻度は４６であるので、頻度の比は４６／４３＝１．０７である。当該比が１に近い値である場合（例えば１．１以下の場合など）、当該子パターンは「意味の無いパターン」である可能性が高いと考えられる。なぜなら、このような子パターンのほとんどは親パターンの部分集合として抽出されているにすぎず、このような子パターンが独立して何らかの処理に関連付いているとは考えにくいためである。このような子パターンが、親パターンの部分集合として以外に抽出される場合としては、例えば、例えば図４に示すロググループ２と３との境界のように、分割部１１０が、たまたま、「意味のあるパターン」の途中で正常ログ９１０を分割してしまうような場合、と考えられる。
　（具体例２）
　選択部１３０は、前記複数のパターンのそれぞれについて親子関係を分析する。選択部１３０は、パターンを構成する要素（イベント）の数が多く、かつ、頻度の高いパターンを、優先的に「意味のあるパターン」として選択してもよい。例えば、パターン「ＡＢＣ」は、パターンを構成する要素の数が３つ（ＡとＢとＣ）であり、頻度が４３と高いので、優先的に「意味のあるパターン」として選択される。パターンを構成する要素の数の多少の判断基準、および、頻度の高低の判断基準は、例えば、あらかじめ定められていてもよい。
　（具体例３）
　選択部１３０は、前記複数のパターンのそれぞれについて親子関係を分析する。図７は、選択部１３０が、各パターンについて、当該パターンが幾つの親パターンを有するかを分析した表である。選択部１３０は、よりたくさんの親パターンを有する子パターンを、優先的に「意味のあるパターン」として選択してもよい。
　（具体例４）
　選択部１３０は、前記複数のパターンのそれぞれについて親子関係を分析する。選択部１３０は、パターンの支持度、子パターンに対する親パターンの信頼度、または、支持度に対する信頼度の比（リフト値）等に基づいて、「意味のあるパターン」を選択してもよい。支持度、信頼度、またはリフト値は、例えばあらかじめオペレータにより定義されていてもよい。
　（具体例５）
　選択部１３０は、例えば、「ＸＹＡＢＣ」というパターンが抽出された場合に、当該パターンを充足するような子パターンを優先的に選択してもよい。例えば、上述の例では、「ＡＢＣ」と「ＸＹ」という子パターンは、「ＡＢＣＸＹ」という親パターンを充足するので、優先的に選択される。例えば、上述の例では、「ＸＡＢ」や「ＸＢＣ」という子パターンでは、「ＡＢＣＸＹ」という親パターンを充足しない（例えば、ＸＡＢではＹＣが余る）ので、候補から除外される。
　以上、選択部１３０の動作として（具体例１）、（具体例２）、（具体例３）、（具体例４）および（具体例５）を説明した。選択部１３０は、上述した具体例に示す動作により、抽出部１２０が抽出したパターンのうち、「ＡＢＣ」および「ＸＹ」を、「意味のあるパターン」として選択する。選択部１３０は、選択したパターンを、正常パターン抽出部１４０に出力する。
　正常パターン抽出部１４０は、選択部１３０から「意味のあるパターン」の入力を受け付ける。正常パターン抽出部１４０は、当該パターンに基づいて、正常ログ９１０から正常パターン９２０を抽出する。
　次に、ログ分析システム１００の動作を説明する。図８は、第１の実施形態にかかるログ分析システム１００の動作を示すフローチャートである。
　分割部１１０は、正常ログ９１０（ログファイル）を、複数のロググループに分割する（ステップＳ１０１）。抽出部１２０は、複数のロググループからパターンを抽出する（ステップＳ１０２）。選択部１３０は、抽出部１２０が抽出したパターンのうちから、「意味があるパターン」を選択し、選択された「意味があるパターン」を出力する（ステップＳ１０３）。正常パターン抽出部１４０は、選択部１３０が選択したパターンに基づいて、正常ログ９１０から正常パターン９２０を抽出する（ステップＳ１０４）。
　次に、ログ分析システム１００を実現可能なハードウェア構成の一例を説明する。図９はログ分析システム１００を実現可能なハードウェア構成の一例を示す図である。
　本実施形態のログ分析システム１００及び他の実施形態に係るログ分析システムは、図９に示すハードウェア構成を備えるコンピュータによって実現できる。そのコンピュータは、ＣＰＵ（Central Processing Unit）１、メモリ２、記憶装置３、通信インターフェース（Ｉ／Ｆ）４を備える。ログ分析システムは、入力装置５または出力装置６を備えていてもよい。ログ分析システムの機能は、例えばＣＰＵ１が、メモリ２に読み出されたコンピュータプログラム（ソフトウェアプログラム、以下単に「プログラム」と記載する）を実行することにより実現される。実行に際して、ＣＰＵ１は、通信インターフェース４、入力装置５および出力装置６を適宜制御する。
　尚、本実施形態および後述する各実施形態を例として説明される本発明は、係るプログラムが格納されたコンパクトディスク等の不揮発性の記憶媒体８によっても構成される。記憶媒体８が格納するプログラムは、例えばドライブ装置７により読み出される。
　ログ分析システムが実行する通信は、例えばＯＳ（Operating System）が提供する機能を使ってアプリケーションプログラムが通信インターフェース４を制御することによって実現される。入力装置５は、例えばキーボード、マウスまたはタッチパネルである。出力装置６は、例えばディスプレイである。ログ分析システムは、２つ以上の物理的に分離した装置が有線または無線で通信可能に接続されることによって構成されていてもよい。なお、ログ分析システムおよびその各機能ブロックのハードウェア構成は、上述した構成に限定されない。また、上述したハードウェア構成は、後述する他の実施形態にかかるログ分析システム、および、障害原因分析システムにも適用可能である。
　第１の実施形態にかかるログ分析システム１００の効果を説明する。ログ分析システム１００は、一連のメッセージを処理単位でグループ化する情報が事前に与えられることなしに、正常ログ９１０から正常パターン９２０を適切に抽出すること、または抽出することを支援することができる。その理由は、ログ分析システム１００は、正常ログ９１０に基づいて「一連のメッセージを処理単位でグループ化する情報」を自ら抽出することができるからである。
　（第１の実施形態の変形例）
　分割部１１０と、抽出部１２０と、選択部１３０と、正常パターン抽出部１４０は、それぞれ、例えば、図示しない入力装置からユーザあるいは他のプログラムやソフトウェアなどによるパターン生成開始の命令を受信することを契機に動作を開始してもよい。分割部１１０と、抽出部１２０と、選択部１３０と、正常パターン抽出部１４０は、それぞれ、例えば、ログファイルの入力、更新などを契機に動作を開始してもよい。
　分割部１１０は、ログファイルを、所定の個数のログレコードが１つのロググループを構成するように分割してもよい。例えば、分割部１１０は、ログファイルを、５つのログレコードが１つのロググループを構成するように、分割してもよい。分割部１１０は、所定の時間間隔でログファイルを取得してもよい。分割部１１０は、例えば、５分間分のログファイルを５分間隔で取得する、５分間分のログを３分間隔で取得する、というように動作してもよい。
　抽出部１２０は、時系列的に連続しないイベントをパターンと見なして抽出してもよい。例えば抽出部１２０は、ロググループ１「ＡＢＣＸＹ」から、パターン「ＡＢＸＹ」、「ＡＣＹ」または「ＢＣＹ」などのパターンを抽出してもよい。
　選択部１３０は、時系列的に連続しないイベントに基づいて親子関係を分析してもよい。例えば、選択部１３０は、親パターン「ＡＢＣＸ」に対して、「ＡＣ」または「ＡＣＸ」などのパターンを子パターンとして関連づけてもよい。
　＜第２の実施形態＞
　図１０は、本発明の第２の実施形態にかかるログ分析システム１０１の構成を示すブロック図である。図３に示した構成と実質的に同一の構成については、同様の符号を付与し、説明を省略する。第２の実施形態にかかるログ分析システム１０１は、第１の実施形態にかかるログ分析システム１００に加えて、更に、変換部１５０を備える。
　第１の実施形態において、ログ分析システム１００が受け付ける正常ログ９１０は、図２に示すように、ログレコード毎に既にイベントＩＤが付与されていた。第２の実施形態において、ログ分析システム１０１が受け付ける正常ログ９１１は、より生データに近いログファイルである。変換部１５０は、例えば、図１１Ａ、図１１Ｂ、又は図１１Ｃに示すようなログファイルを受け取り、受け取ったログファイルを図２に示すようなログに変換する。
　図１１Ａ、図１１Ｂおよび図１１Ｃは、それぞれ、変換部１５０が受け取る正常ログ９１１（ログファイル）の一例を示す図である。ログファイルは、少なくとも１以上のログレコードで構成される。ログレコードは、少なくとも１以上のログ要素を含んで構成される。ログ要素とは、日時、ログＩＤ（識別子）、メッセージなどログレコードを構成する要素である。
　変換部１５０は、事前にオペレータにより定義されたフォーマットに従って、正常ログ９１１を変換する。図１２は、オペレータが事前に定義したフォーマットの一例を表す図である。図１２に示すフォーマットは、「2013/07/01 09:00:00～2013/07/01 18:00:00」という期間を指定し、「日時」「ログＩＤ」というログ要素を指定している。なお、フォーマットにはログファイルからログ要素を抽出するために、各ログ要素の正規表現などの、抽出するログ要素を識別可能な情報を記録してもよい。また、フォーマットには、対象とするログファイルの名称など、ログファイルを識別可能な情報を記録してもよい。フォーマットは、ログ要素により構成されるログレコードの構造を正規表現として記録してもよい。
　図１３は、オペレータが事前に定義したフォーマットの他の例を表す図である。図１３は、イベントＩＤと、当該イベントＩＤが付与されるべきイベントの表現（レコード表現）とを関連づける情報を表す。レコード表現は、各ログレコードを表す文字列である。レコード表現として、各ログレコードがそのまま記録されていてもよい。また、レコード表現として、各ログレコードのログ要素を抽出した情報が記録されていてもよい。あるいは、レコード表現として、各ログレコードと合致する正規表現が記録されていてもよい。
　変換部１５０は、例えば図１１Ａ、図１１Ｂ、又は図１１Ｃに示すような正常ログ９１１の入力を受け付けると、図１２または図１３に示すフォーマットに基づいて、図２に示すようなログファイルに変換する。変換部１５０は、例えば、ログフォーマットにおいて指定された期間分のログを情報処理システム９００から読み込んでもよい。なお、読み込む対象のログファイルは複数存在していてもよい。変換部１５０は、取得した、または、読み込んだログファイルから、フォーマットが指定するログ要素を抽出する。例えば、図１２に示すフォーマットの場合、変換部１５０は、ログファイルに含まれるログレコードから、日時と、ログＩＤのみを抽出する。変換部１５０は、変換したログを時系列順に並べ替え、出力する。これにより、分割部１１０、抽出部１２０、選択部１３０、正常パターン抽出部１４０は、正常ログ９１１を処理可能となる。
　図１４は、第２の実施形態にかかるログ分析システム１０１の動作を説明するフローチャートである。図８において説明したステップと同一の動作を行うステップに関しては、同一の符号を付与し、説明を省略する。
　変換部１５０は、ログファイル９１１を受け付け、受け付けたログファイルを、各ログレコードにイベントＩＤが付与されるように変換する（ステップＳ２０１）。分割部１１０は、変換部１５０から変換されたログファイルを受け付ける。以降の動作は、図３におけるステップＳ１０１ないしステップＳ１０４に示した動作と同様であるので、説明を省略する。
　第２の実施形態にかかるログ分析システム１０１の効果を説明する。ログ分析システム１０１は、変換部１５０を備える。変換部１５０は、情報処理システム９００が出力するログを、分割部１１０、抽出部１２０、選択部１３０、及び正常パターン抽出部１４０が処理可能な形式に変換する。これにより、ログ分析システム１０１は、様々なフォーマットで出力される正常ログ９１１を処理することができる。
　＜第３の実施形態＞
　図１５は、本発明の第３の実施形態における障害原因分析システム３００の構成を説明するブロック図である。障害原因分析システム３００は、第２の変換部３１０と、パターン比較部３２０と、異常パターン出力部３３０とを備える。
　第２の変換部３１０は、情報処理システム９００が出力した、分析対象のログファイルである分析対象ログ９９０を取得する。第２の変換部３１０には、あらかじめ、選択部１３０が選択した「一連のメッセージを処理単位でグループ化する情報」が登録されている。第２の変換部３１０は、分析対象ログ９９０から、「一連のメッセージを処理単位でグループ化する情報」に基づいて、パターンを抽出する。
　パターン比較部３２０は、第２の変換部３１０が分析対象ログ９９０を変換したパターンと、正常パターン記憶部２００が記憶するパターンとを比較する。パターン比較部３２０は、分析対象ログ９９０を変換したパターンにおいて、正常パターン９２０と異なるパターンを抽出する。
　異常パターン出力部３３０は、パターン比較部３２０が実行した比較の結果に基づいて、分析対象ログ９９０のうち、異常な箇所を出力する。
　第３の実施形態にかかる障害原因分析システム３００によれば、情報処理システム９００が出力する膨大な量のログから、当該障害が発生した直接的または間接的な原因を示すメッセージを抽出し、出力することができる。
　＜第４の実施形態＞
　図１６は、本発明の第４の実施形態にかかるログ分析システム１０２の構成を表すブロック図である。図１６に示すように、ログ分析システム１０２は、分割部１１２と、抽出部１２２と、選択部１３２とを備える。
　分割部１１２は、ログファイルを、所定のルールに従って、複数のロググループへと分割する。ログファイルは、イベントと当該イベントが発生した時刻とが関連づけられた情報である複数のログレコードが時系列順に整列された情報を含む。ロググループは、時系列順に連続する複数のログレコードの集合である。
　抽出部１２２は、複数の前記ロググループから、時系列的に連続する複数のイベントによって構成される複数のパターンを抽出し、前記パターンを、当該パターンが幾つのログレコードから抽出されたかを表す頻度情報と関連づける。
　選択部１３２は、前記複数のパターンから出力すべきパターンを選択する。その際、選択部１３２は、あるパターンを構成する時系列的に連続する複数のイベントと、他のパターンを構成する時系列的に連続した複数のイベントとの包含関係に基づいて、かつ、前記パターンに関連づけられた頻度情報に基づいて、選択する。
　また、上述した各実施の形態は、適宜組み合わせて実施されることが可能である。また、本発明は、上述した各実施の形態に限定されず、様々な態様で実施されることが可能である。
　各ブロック図に示したブロック分けは、説明の便宜上から表された構成である。各実施形態を例に説明された本発明は、その実装に際して、各ブロック図に示した構成には限定されない。
　以上、本発明を実施するための形態について説明したが、上記実施の形態は本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。本発明はその趣旨を逸脱することなく変更、改良され得ると共に、本発明にはその等価物も含まれる。
　この出願は、２０１３年９月２４日に出願された日本出願特願２０１３－１９７４１６を基礎とする優先権を主張し、その開示の全てをここに取り込む。
　１　　ＣＰＵ
　２　　メモリ
　３　　記憶装置
　４　　通信インターフェース
　５　　入力装置
　６　　出力装置
　７　　ドライブ装置
　８　　記憶媒体
　１００　　ログ分析システム
　１０１　　ログ分析システム
　１０２　　ログ分析システム
　１１０　　分割部
　１１２　　分割部
　１２０　　抽出部
　１２２　　抽出部
　１３０　　選択部
　１３２　　選択部
　１４０　　正常パターン抽出部
　１５０　　変換部
　２００　　正常パターン記憶部
　３００　　障害原因分析システム
　３１０　　第２の変換部
　３２０　　パターン比較部
　３３０　　異常パターン出力部
　９００　　情報処理システム
　９１０　　正常ログ
　９１１　　正常ログ
　９２０　　正常パターン
　９９０　　分析対象ログ

Claims (10)

  1. 　イベントと当該イベントが発生した時刻とが関連づけられた情報である複数のログレコードが時系列順に整列された情報を含むログファイルを、所定のルールに従って、時系列順に連続する複数のログレコードの集合である複数のロググループへと分割する分割手段と、
    　複数の前記ロググループから、時系列的に連続する複数のイベントによって構成される複数のパターンを抽出し、前記パターンを、当該パターンが幾つのログレコードから抽出されたかを表す頻度情報と関連づける抽出手段と、
    　あるパターンを構成する時系列的に連続する複数のイベントと、他のパターンを構成する時系列的に連続した複数のイベントとの包含関係に基づいて、かつ、前記パターンに関連づけられた頻度情報に基づいて、前記複数のパターンから出力すべきパターンを選択する選択手段と、
    　を備えるログ分析システム。
  2. 　前記ログファイルは、実行する処理に応じて複数のイベントを所定の順番で発生することが可能な情報処理装置から出力された情報に基づくログファイルであって、
    　前記選択手段は、特定の処理が実行されたことに応じて発生した一連のイベントを過不足なく含むパターンを選択する、
    　請求項１に記載のログ分析システム。
  3. 　一方のパターンを構成する時系列的に連続する複数のイベントが、他方のパターンを構成する時系列的に連続する複数のイベントの部分集合である場合に、前記他方パターンを前記一方のパターンの親パターンと定義し、前記一方のパターンを前記他方のパターンの子パターンと定義する場合において、
    　前記選択手段は、前記複数のパターンを対象として親子関係を分析し、親パターンと子パターンとの間の、信頼度、支持度、またはリフト値に基づいて、前記複数のパターンから出力するパターンを選択する、
    　請求項２に記載のログ分析システム。
  4. 　一方のパターンを構成する時系列的に連続する複数のイベントが、他方のパターンを構成する時系列的に連続する複数のイベントの部分集合である場合に、前記他方パターンを前記一方のパターンの親パターンと定義し、前記一方のパターンを前記他方のパターンの子パターンと定義する場合において、
    　前記選択手段は、前記複数のパターンを対象として親子関係を分析し、所定の閾値よりも大きい数量の親パターンを有する子パターンを優先的に選択する、
    　請求項２または３に記載のログ分析システム。
  5. 　一方のパターンを構成する時系列的に連続する複数のイベントが、他方のパターンを構成する時系列的に連続する複数のイベントの部分集合である場合に、前記他方パターンを前記一方のパターンの親パターンと定義し、前記一方のパターンを前記他方のパターンの子パターンと定義する場合において、
    　前記選択手段は、前記複数のパターンのそれぞれについて親子関係を分析し、あるパターンに対して親パターンと子パターンとの両方が存在する場合において、前記親パターンの頻度に対する前記あるパターンの頻度の割合が第１の閾値未満であって、かつ、前記あるパターンの頻度に対する前記子パターンの頻度の割合が第２の閾値以上である場合に、前記あるパターンを優先的に選択する、
    　請求項２から４のいずれかに記載のログ分析システム。
  6. 　前記選択手段は、パターンを構成する時系列的に連続するイベントの数が所定の閾値よりも大きく、かつ、所定の閾値よりも高い頻度と関連づけられたパターンを優先的に選択する、請求項２から５のいずれかに記載のログ分析システム。
  7. 　前記ログファイルは、前記情報処理装置が正常に動作していた環境におけるログファイルであって、
    　前記選択手段が出力したパターンに基づいて、前記ログファイルから前記処理が実行された順序および頻度を示す情報である正常パターンを抽出する正常パターン抽出手段を更に備える、
    　請求項２から５のいずれかに記載のログ分析システム。
  8. 　前記選択手段が出力したパターンに基づいて、前記情報処理装置から出力された他のログファイルから、前記処理が実行された順序および頻度を示す情報を抽出し、前記抽出されたパターンと、請求項７に記載のログ分析システムが抽出した正常パターンと、を比較することにより、前記他のログファイルに異常なパターンが含まれているか否かを分析し、異常なパターンが含まれている場合には、当該異常なパターンを構成するログレコードを出力する、
    　障害原因分析システム。
  9. 　コンピュータが、
    　イベントと当該イベントが発生した時刻とが関連づけられた情報である複数のログレコードが時系列順に整列された情報を含むログファイルを、所定のルールに従って、時系列順に連続する複数のログレコードの集合である複数のロググループへと分割し、
    　複数の前記ロググループから、時系列的に連続する複数のイベントによって構成される複数のパターンを抽出し、前記パターンを、当該パターンが幾つのログレコードから抽出されたかを表す頻度情報と関連づけ、
    　あるパターンを構成する時系列的に連続する複数のイベントと、他のパターンを構成する時系列的に連続した複数のイベントとの包含関係に基づいて、かつ、前記パターンに関連づけられた頻度情報に基づいて、前記複数のパターンから出力すべきパターンを選択する、
    　ログ分析方法。
  10. 　コンピュータに、
    　イベントと当該イベントが発生した時刻とが関連づけられた情報である複数のログレコードが時系列順に整列された情報を含むログファイルを、所定のルールに従って、時系列順に連続する複数のログレコードの集合である複数のロググループへと分割する処理と、
    　複数の前記ロググループから、時系列的に連続する複数のイベントによって構成される複数のパターンを抽出し、前記パターンを、当該パターンが幾つのログレコードから抽出されたかを表す頻度情報と関連づける処理と、
    　あるパターンを構成する時系列的に連続する複数のイベントと、他のパターンを構成する時系列的に連続した複数のイベントとの包含関係に基づいて、かつ、前記パターンに関連づけられた頻度情報に基づいて、前記複数のパターンから出力すべきパターンを選択する処理と、
    　を実行させるプログラムを記憶する記録媒体。
PCT/JP2014/004275 2013-09-24 2014-08-21 ログ分析システム、障害原因分析システム、ログ分析方法、および、プログラムを記憶する記録媒体 Ceased WO2015045262A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US15/021,740 US10152366B2 (en) 2013-09-24 2014-08-21 Log analysis system, fault cause analysis system, log analysis method, and recording medium which stores program
JP2015538856A JP6332277B2 (ja) 2013-09-24 2014-08-21 ログ分析システム、障害原因分析システム、ログ分析方法、および、プログラムを記憶する記録媒体

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013197416 2013-09-24
JP2013-197416 2013-09-24

Publications (1)

Publication Number Publication Date
WO2015045262A1 true WO2015045262A1 (ja) 2015-04-02

Family

ID=52742441

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/004275 Ceased WO2015045262A1 (ja) 2013-09-24 2014-08-21 ログ分析システム、障害原因分析システム、ログ分析方法、および、プログラムを記憶する記録媒体

Country Status (3)

Country Link
US (1) US10152366B2 (ja)
JP (1) JP6332277B2 (ja)
WO (1) WO2015045262A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018045403A (ja) * 2016-09-14 2018-03-22 株式会社日立製作所 異常検知システム及び異常検知方法
JP2019501448A (ja) * 2015-11-18 2019-01-17 エヌイーシー ラボラトリーズ アメリカ インクＮＥＣ Ｌａｂｏｒａｔｏｒｉｅｓ Ａｍｅｒｉｃａ， Ｉｎｃ． 異種混成ログストリームにおける自動化された異常検出サービス
WO2019150589A1 (ja) * 2018-02-01 2019-08-08 株式会社ソフトギア 情報処理プログラム、情報処理装置及びデバッグシステム
WO2023162390A1 (ja) * 2022-02-25 2023-08-31 三菱電機株式会社 分析装置及び分析方法

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6669156B2 (ja) * 2015-02-17 2020-03-18 日本電気株式会社 アプリケーション自動制御システム、アプリケーション自動制御方法およびプログラム
US10379996B2 (en) * 2017-07-05 2019-08-13 Juniper Networks, Inc. Software analytics platform
US10719384B2 (en) 2018-02-22 2020-07-21 Red Hat, Inc. Determining relationships between components in a computing environment to facilitate root-cause analysis
WO2019202711A1 (ja) * 2018-04-19 2019-10-24 日本電気株式会社 ログ分析システム、ログ分析方法及び記録媒体
WO2020017037A1 (ja) * 2018-07-20 2020-01-23 日本電気株式会社 ログ分析装置、ログ分析方法、プログラム
US10521331B1 (en) * 2018-08-31 2019-12-31 The Mitre Corporation Systems and methods for declarative specification, detection, and evaluation of happened-before relationships
US11061800B2 (en) * 2019-05-31 2021-07-13 Microsoft Technology Licensing, Llc Object model based issue triage
US12056038B2 (en) 2019-12-16 2024-08-06 Telefonaktiebolaget Lm Ericsson (Publ) Log analyzer for fault detection
US11762858B2 (en) 2020-03-19 2023-09-19 The Mitre Corporation Systems and methods for analyzing distributed system data streams using declarative specification, detection, and evaluation of happened-before relationships
CN113472555B (zh) * 2020-03-30 2022-09-23 华为技术有限公司 故障检测方法、系统、装置、服务器及存储介质
JP7494904B2 (ja) * 2020-04-15 2024-06-04 日本電信電話株式会社 パターン抽出装置、パターン抽出方法及びプログラム
US20250094473A1 (en) * 2023-09-19 2025-03-20 Palantir Technologies Inc. Systems and methods for windowed summarizations of event logs

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11224214A (ja) * 1998-02-05 1999-08-17 Fujitsu Ltd イベント分類装置およびそのプログラム記録媒体
JP2006318071A (ja) * 2005-05-11 2006-11-24 Fujitsu Ltd メッセージ異常自動判別装置、方法、及びプログラム
JP2010128661A (ja) * 2008-11-26 2010-06-10 Fujitsu Ltd 故障原因推測方法、故障原因推測装置、及びプログラム
JP2011002870A (ja) * 2009-06-16 2011-01-06 Hitachi Ltd ウェブアプリケーションの操作性評価・改善方法およびウェブシステム
JP2012123694A (ja) * 2010-12-10 2012-06-28 Fujitsu Ltd 管理装置、管理方法および管理用プログラム

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5119377A (en) * 1989-06-16 1992-06-02 International Business Machines Corporation System and method for software error early detection and data capture
US5463768A (en) * 1994-03-17 1995-10-31 General Electric Company Method and system for analyzing error logs for diagnostics
US5982995A (en) * 1996-11-04 1999-11-09 Xerox Corporation Method for logging data in an electrophotographic printing machine
US20020046273A1 (en) * 2000-01-28 2002-04-18 Lahr Nils B. Method and system for real-time distributed data mining and analysis for network
US6654915B1 (en) * 2000-09-11 2003-11-25 Unisys Corporation Automatic fault management system utilizing electronic service requests
JP2003203001A (ja) * 2001-12-28 2003-07-18 Toshiba Corp ログ解析方法、ログ解析プログラム
US7194445B2 (en) * 2002-09-20 2007-03-20 Lenovo (Singapore) Pte. Ltd. Adaptive problem determination and recovery in a computer system
US8032866B1 (en) * 2003-03-27 2011-10-04 Identify Software Ltd. System and method for troubleshooting runtime software problems using application learning
US7721152B1 (en) * 2004-12-21 2010-05-18 Symantec Operating Corporation Integration of cluster information with root cause analysis tool
US7614043B2 (en) * 2005-08-26 2009-11-03 Microsoft Corporation Automated product defects analysis and reporting
GB0524742D0 (en) * 2005-12-03 2006-01-11 Ibm Methods and apparatus for remote monitoring
CN101192227B (zh) * 2006-11-30 2011-05-25 阿里巴巴集团控股有限公司 一种基于分布式计算网络的日志文件分析方法和系统
US8990378B2 (en) * 2007-07-05 2015-03-24 Interwise Ltd. System and method for collection and analysis of server log files
US20090144699A1 (en) * 2007-11-30 2009-06-04 Anton Fendt Log file analysis and evaluation tool
US20110154117A1 (en) * 2009-12-22 2011-06-23 General Electric Company, A New York Corporation Methods and apparatus to perform log file analyses
EP2527991B1 (en) * 2010-01-19 2018-12-26 Fujitsu Limited Analysis method, analysis device, and analysis program
US8112667B2 (en) * 2010-01-25 2012-02-07 International Business Machines Corporation Automated system problem diagnosing
JP2012168702A (ja) 2011-02-14 2012-09-06 Nippon Telegr & Teleph Corp <Ntt> ログ解析装置およびログ解析方法
JP5686001B2 (ja) 2011-03-14 2015-03-18 富士通株式会社 情報処理装置、メッセージ切分け方法およびメッセージ切分けプログラム
US20130227352A1 (en) * 2012-02-24 2013-08-29 Commvault Systems, Inc. Log monitoring
US9465684B1 (en) * 2013-03-15 2016-10-11 Emc Corporation Managing logs of storage systems

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11224214A (ja) * 1998-02-05 1999-08-17 Fujitsu Ltd イベント分類装置およびそのプログラム記録媒体
JP2006318071A (ja) * 2005-05-11 2006-11-24 Fujitsu Ltd メッセージ異常自動判別装置、方法、及びプログラム
JP2010128661A (ja) * 2008-11-26 2010-06-10 Fujitsu Ltd 故障原因推測方法、故障原因推測装置、及びプログラム
JP2011002870A (ja) * 2009-06-16 2011-01-06 Hitachi Ltd ウェブアプリケーションの操作性評価・改善方法およびウェブシステム
JP2012123694A (ja) * 2010-12-10 2012-06-28 Fujitsu Ltd 管理装置、管理方法および管理用プログラム

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019501448A (ja) * 2015-11-18 2019-01-17 エヌイーシー ラボラトリーズ アメリカ インクＮＥＣ Ｌａｂｏｒａｔｏｒｉｅｓ Ａｍｅｒｉｃａ， Ｉｎｃ． 異種混成ログストリームにおける自動化された異常検出サービス
JP2018045403A (ja) * 2016-09-14 2018-03-22 株式会社日立製作所 異常検知システム及び異常検知方法
WO2019150589A1 (ja) * 2018-02-01 2019-08-08 株式会社ソフトギア 情報処理プログラム、情報処理装置及びデバッグシステム
WO2023162390A1 (ja) * 2022-02-25 2023-08-31 三菱電機株式会社 分析装置及び分析方法
JP2023124581A (ja) * 2022-02-25 2023-09-06 三菱電機株式会社 分析装置及び分析方法
JP7745478B2 (ja) 2022-02-25 2025-09-29 三菱電機株式会社 分析装置及び分析方法

Also Published As

Publication number Publication date
JP6332277B2 (ja) 2018-05-30
US20160224402A1 (en) 2016-08-04
US10152366B2 (en) 2018-12-11
JPWO2015045262A1 (ja) 2017-03-09

Similar Documents

Publication Publication Date Title
JP6332277B2 (ja) ログ分析システム、障害原因分析システム、ログ分析方法、および、プログラムを記憶する記録媒体
US9563496B2 (en) Extraction method and device
CN103793284B (zh) 基于共同序列模式的、用于智能客户服务的分析系统和方法
JP6665784B2 (ja) ログ分析システム、ログ分析方法およびログ分析プログラム
WO2016132717A1 (ja) ログ分析システム、ログ分析方法およびプログラム記録媒体
US20160070763A1 (en) Parallel frequent sequential pattern detecting
US10459730B2 (en) Analysis system and analysis method for executing analysis process with at least portions of time series data and analysis data as input data
JP4458493B2 (ja) ログ通知条件定義支援装置とログ監視システムおよびプログラムとログ通知条件定義支援方法
JP6025520B2 (ja) データ分析支援処理システム及び方法
JP2020140250A (ja) 異常検知装置、異常検知方法および異常検知プログラム
JP2016133817A (ja) 類似性判定装置、類似性判定方法および類似性判定プログラム
US20140331084A1 (en) Information processing system and control method thereof
CN105117430B (zh) 一种基于等价类的重复任务过程发现方法
JP7078114B2 (ja) ログ分析装置、ログ分析方法、プログラム
WO2023195139A1 (ja) 表示データ作成装置、操作システム、表示データ作成方法及び表示データ作成プログラム
JPWO2020065778A1 (ja) 情報処理装置、制御方法、及びプログラム
JP4928848B2 (ja) 計算機システム統合管理環境におけるメッセージ変換装置
JP7504816B2 (ja) ログ検索支援装置、及びログ検索支援方法
JP6849910B2 (ja) 差分ログ適用プログラム、差分ログ適用装置及び差分ログ適用方法
TW202032369A (zh) 資訊處理裝置、資訊處理方法及資訊處理程式產品
JP5735326B2 (ja) Ｉｔ障害検知・検索装置及びプログラム
Fullop et al. Real time analysis and event prediction engine
JP2016126532A (ja) 算出プログラム、情報処理装置、および算出方法
JP7111965B2 (ja) 情報処理方法、情報処理装置および情報処理プログラム
JP2017162196A (ja) 集約ルール作成プログラムおよび集約ルール作成装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14849127

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2015538856

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 15021740

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 14849127

Country of ref document: EP

Kind code of ref document: A1