WO2017110996A1 - ログ分析システム、ログ分析方法及びプログラムを格納する記録媒体 - Google Patents

ログ分析システム、ログ分析方法及びプログラムを格納する記録媒体 Download PDF

Info

Publication number
WO2017110996A1
WO2017110996A1 PCT/JP2016/088330 JP2016088330W WO2017110996A1 WO 2017110996 A1 WO2017110996 A1 WO 2017110996A1 JP 2016088330 W JP2016088330 W JP 2016088330W WO 2017110996 A1 WO2017110996 A1 WO 2017110996A1
Authority
WO
WIPO (PCT)
Prior art keywords
log
logs
format
component
information
Prior art date
Application number
PCT/JP2016/088330
Other languages
English (en)
French (fr)
Inventor
遼介 外川
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to JP2017558255A priority Critical patent/JP6798504B2/ja
Publication of WO2017110996A1 publication Critical patent/WO2017110996A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/34Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment

Definitions

  • the present invention relates to a log analysis system and the like for performing log analysis.
  • a log containing the event results and messages is output.
  • a user for example, an operator
  • an example of information for assisting analysis based on a log is information for grasping a progress status of a series of processes across a plurality of servers included in the system (hereinafter referred to as “processing status grasping information”). Based on the processing status grasp information acquired based on the output log, the server where the processing stays is identified among the plurality of servers performing a series of processing. The user can specify the cause of the system abnormality by investigating the state of the specified server.
  • Patent Document 1 updates a table related to the business in the database upon receipt of information indicating business completion from a supplier or a customer, and records it in the updated table.
  • Patent Document 1 needs to update a database table based on information indicating business completion, and cannot grasp the progress of a series of processes based on a log output from the system.
  • An object of the present invention is to provide a log analysis system and the like that can solve the above-described problems and can present to a user a progress status of a series of processes across a plurality of servers based on logs output from the system.
  • the log analysis system includes a format determination unit that determines which format is a plurality of logs output from a component of the system among a plurality of predetermined formats, and the plurality of formats The relationship between the set determination unit that determines which set of the plurality of logs for each of the determined formats among the sets and the components that output the plurality of logs for each of the determined sets is shown.
  • a connection information acquisition unit that acquires connection information, a log totaling unit that totals a plurality of logs for each set for each component, and a count result for each component based on the acquired connection information
  • An information output unit is provided.
  • the log analysis method is a log analysis method, which determines a format of a plurality of logs output from a system component among a plurality of predetermined formats, A connection indicating the relationship between the components that output a plurality of logs for each set determined by determining which set is a plurality of logs for each determined format among a plurality of formats. Information is acquired, a plurality of logs for each set are aggregated for each component, and the aggregation result is output for each component based on the acquired connection information.
  • a program stored in a recording medium is a process for determining which format a plurality of logs output from a system component out of a plurality of predetermined formats is stored in a computer. , Among the sets of the plurality of formats, the relationship between the process for determining the set of the plurality of logs for each determined format and the component that has output the plurality of logs for each determined set A process of acquiring connection information indicating a property, a process of counting a plurality of logs for each set for each component, and a process of outputting the count result for each component based on the acquired connection information Is executed.
  • FIG. 1 is a block diagram showing a configuration of a log analysis system 100 according to the first embodiment.
  • each block shows a functional unit configuration, not a hardware (device) unit configuration. Therefore, the blocks shown in FIG. 1 may be implemented in a single device, or may be separately implemented in a plurality of devices. Data exchange between the blocks may be performed via any means such as a data bus, a network, a portable recording medium, or the like.
  • the log analysis system 100 includes, as processing units, an input unit 110, a format determination unit 120, a set determination unit 130, a connection information acquisition unit 140, a log aggregation unit 150, and an information output unit 160. Is provided. Further, the log analysis system 100 includes a format storage unit 171 and a set storage unit 172 as storage units.
  • FIG. 4 is a diagram illustrating an example of the analysis target log 10 according to the first embodiment.
  • the analysis target log 10 in this embodiment is output from one or more components included in the system.
  • the constituent elements are, for example, physical devices such as servers, virtual devices such as virtual machines, and various programs.
  • the analysis target log 10 in the present embodiment includes one log output from the component as one unit, and includes one or more arbitrary numbers of logs.
  • an example of the analysis target log 10 illustrated in FIG. 4 is “2015/08/17 08:29:37 [SV001] JNW3258 has started”.
  • the analysis target log 10 indicates an entire log included in the analysis target log 10, and the log indicates one log extracted from the analysis target log 10.
  • the analysis target log 10 may be acquired from outside the log analysis system 100. Further, the analysis target log 10 may be acquired by reading what is recorded in advance in the log analysis system 100.
  • the analysis target log 10 includes one or more logs output from one or more devices or programs.
  • the analysis target log 10 is a log expressed in an arbitrary data format (file format), and may be binary data or text data, for example.
  • the analysis target log 10 may be recorded as a database table.
  • the analysis target log 10 may be recorded as a text file.
  • Each log includes a time stamp and a message.
  • the log analysis system 100 is not limited to a specific type of log, and can analyze a wide variety of logs. For example, a log that records a message output from an operating system or an application such as a syslog or an event log can be used as the analysis target log 10.
  • the format determination unit 120 determines which format (format) recorded in advance in the format storage unit 171 for each log included in the analysis target log 10, and sets the determination result to the set determination unit 130. Send to. Specifically, the format determination unit 120 classifies each log included in the analysis target log 10 for each format, and sends each log classified for each format to the set determination unit 130. The format determination unit 120 also separates each log into a variable portion and a constant portion using a format that is more suitable for determination.
  • the format may be a known log format.
  • the format may be a log format determined in advance based on log characteristics.
  • the characteristics of the log include, for example, the property that it is easily or difficult to change between logs that are similar to each other, or the property that a character string that can be regarded as a portion that is easily changed in the log is described.
  • variable part of the format is a variable part in the format
  • constant part is a part that does not change in the log format.
  • the value of the variable part in the sent log (including numerical values, character strings, and other data) is called a variable value.
  • the variable part and the constant part are different for each type. Therefore, a part defined as a variable part in one form may be defined as a constant part in another form and vice versa.
  • FIG. 5 is a diagram showing an example of format information according to the first embodiment.
  • the format information is recorded in the format storage unit 171.
  • the format information includes a format ID (Identification) that is a format and a format identifier.
  • the format includes a character string that represents the format associated with the unique ID.
  • the format is defined as a variable part by describing a predetermined identifier in a variable part in the log, and a part other than the variable part in the log is defined as a constant part.
  • identifier of a variable part for example, “ ⁇ variable: time stamp>” indicates a variable part representing a time stamp, and “ ⁇ variable: character string>” indicates a variable part representing an arbitrary character string.
  • variable part For example, “ ⁇ variable: numerical value>” indicates a variable part representing an arbitrary numerical value, and “ ⁇ variable: IP>” indicates a variable part representing an arbitrary IP (Internet Protocol) address.
  • the identifier of the variable part is not limited to these, and may be defined by an arbitrary method such as a regular expression or a list of possible values.
  • the format may be composed of a constant part without including a variable part, or may be composed of a variable part without including a constant part. Further, the format may be configured only by the constant part without including the variable part, or may be configured only by the variable part without including the constant part.
  • the format determination unit 120 reads “2015/08/17 08:29:37 [SV001] JNW3258 started”, which is the log in the first line in FIG. 4, and the ID in FIG. 5 is “039”. Judge that it conforms to a certain format. Then, the format determination unit 120 processes the log based on the determined format, and the time stamp “2015/08/17 08:29:37”, the character string “SV001” and the numerical value “ 3258 "is determined as the variable value.
  • the format is represented by a list of character strings for visibility, but may be represented by an arbitrary data format (file format), for example, binary data or text data.
  • file format for example, binary data or text data.
  • the format may be recorded in the format storage unit 171 as a text file.
  • the format may be recorded in the format storage unit 171 as a database table.
  • FIG. 6 is a diagram illustrating an example of a format determination result according to the first embodiment.
  • the format determination result is each log included in the analysis target log 10 classified by the format determination unit 120 for each format recorded in the format storage unit 171.
  • the format determination result shown in FIG. 6 includes each log and format ID.
  • the format determination result shown in FIG. 6 is a log associated with the format ID.
  • “Log” is “2015/08/17 08:29:37 [SV001] JNW3258 has started.”
  • Form ID is “039”.
  • the format determination unit 120 determines which format is a plurality of logs output from the system components among a plurality of predetermined formats.
  • the format determination unit 120 stores the log in the format storage unit 171 without sending it to the set determination unit 130. .
  • the log format can be used as information for adding a new format.
  • the set determination unit 130 determines whether or not each log determined by the format determination unit 120 matches a set recorded in the set storage unit 172 in advance, and the determination result is connected to the connection information acquisition unit 140. Send to. Specifically, the set determination unit 130 classifies each determined log for each set in the set storage unit 172, and sends each log classified for each set to the connection information acquisition unit 140. In the set storage unit 172, one or more sets are recorded in advance.
  • FIG. 7 is a diagram illustrating an example of a set recorded in the set storage unit 172.
  • the set is information indicating a series of processes across the constituent elements.
  • information that can be associated with the components may be used.
  • the set may be indicated by a format ID that can be associated with a log including a component as shown in FIG.
  • the set shown in FIG. 7 is indicated by a set ID that is a set identifier and a plurality of format IDs.
  • the set may also include a numerical value representing a format ID associated with a unique ID.
  • the “set ID” is “1” and the “plurality of format IDs” is “039, 055, 071”.
  • the set may have a registered type ID.
  • the set is not limited to this, and may be defined arbitrarily.
  • the set may include, for example, one or more format information in which a format ID and information on a system (component) that is an output source of the format ID are associated with each other.
  • set ID is “1”
  • format information is “039 (SV001), 055 (SV002), 071 (SV004)”.
  • 039 (SV001)” indicates that the format ID 039 is associated with SV001 (Server001) that is the output source of the log corresponding to the format ID039.
  • FIG. 8 is a diagram illustrating an example of a set determination result according to the first embodiment.
  • the set determination result is each log for each format classified by the set determination unit 130 for each set recorded in the set storage unit 172.
  • the set determination result shown in FIG. 8 includes each log and set ID for each format.
  • the set determination result includes a log, a format ID, and a set ID.
  • the set determination result is a log associated with the format ID and the set ID. For example, as an example of the set determination result, “log” is “2015/08/17 08:29:37 [SV001] JNW3258 has started.”, “Format ID” is “039”, and “set ID” is “ 1 ”. That is, the set determination unit 130 determines which set is a plurality of logs for each determined format among a plurality of formats.
  • the connection information acquisition unit 140 acquires the connection information 20 of the component that is the output source of each log for each set sent from the set determination unit 130, and sends the connection information 20 to the log totaling unit 150.
  • the connection information 20 is information related to the constituent elements.
  • the connection information 20 is information indicating each component that outputs the analysis target log 10 and information indicating a dependency relationship between the components.
  • the connection information 20 includes, for example, a component name, a component resource, a network connection relationship between system components, and a master-slave relationship of virtual devices and programs.
  • connection information acquisition unit 140 starts from “2015/08/17 08:29:37 [SV001] JNW 3258”, which is a log classified for each set.
  • SV001 which is the output source component, is specified, and the connection information of the component is acquired from the component.
  • connection information acquisition unit 140 is described as an example in which the connection information 20 is acquired from outside the log analysis system 100. However, this is an example, and the connection information acquisition unit 140 may read and acquire the connection information 20 recorded in advance on a recording medium inside the log analysis system 100, for example.
  • connection information acquisition unit 140 may acquire the connection information 20 from, for example, a monitoring system that monitors the output source component of each log for each set.
  • the log tabulation unit 150 tabulates each log for each set determined by the set determination unit 130. Specifically, the log totaling unit 150 calculates the number of logs that is the number of appearances of each log for each set for each set ID and the component corresponding to the set ID, and sends the total result to the information output unit 160. .
  • FIG. 9 is a diagram illustrating an example of a totaling result in the first embodiment.
  • the total result is the number of logs totaled by the log totaling unit 150 for each set recorded in the set storage unit 172 and each component corresponding to the set.
  • the aggregation results shown in FIG. 9 are a set ID, a component, and the number of logs. Specifically, the set ID, the component associated with the set ID, and the number of logs associated with the component It is. For example, as an example of the aggregation result, “Set ID” is “1”, “Component” is “SV001”, and “Number of Logs” is “50”. That is, the log totaling unit 150 totals a plurality of logs for each set for each component.
  • the information output unit 160 outputs the set ID, the component associated with the set ID, and the number of logs associated with the component in the order of the components based on the connection relationship of the components indicated by the connection information 20.
  • the component order represents the order from the starting component to the ending component in a series of processes.
  • the information output unit 160 outputs a total result for each component based on the connection information.
  • the information output unit 160 outputs the aggregation result to the display device 30, and the display device 30 displays the aggregation result as an image for the user.
  • the display device 30 includes a display unit such as a liquid crystal display for displaying an image and a CRT (Cathode Ray Tube) display.
  • FIG. 10 is a diagram illustrating an example of a display screen of the aggregation result in the first embodiment.
  • the totaling result sent from the log totaling unit 150 is displayed.
  • a table in which “set ID”, “component”, and “number of logs” are associated is displayed.
  • “Set ID” is “1”
  • “Component” is “SV001”
  • “Number of Logs” is “50”.
  • the number of logs is displayed in the order of components from the top. That is, a series of processing is started by “SV001” and executed in the order of “SV002” and “SV004”.
  • the screen illustrated in FIG. 10 is an example, and the display method of the screen is not limited as long as the aggregation result sent from the log aggregation unit 150 can be displayed to the user so as to be visible.
  • the output method of information (for example, the total result) by the log analysis system 100 (information output unit 160) is not limited to image display for the user.
  • the information output unit 160 outputs information to be output as data, and the log analysis system 100 or other system performs recording processing, printing processing, analysis processing, statistical processing, and the like on the data from the information output unit 160. Also good.
  • the user can check the processing result of each component by one set from each log in the analysis target log 10, and which component is based on the difference between the processing results of each component. It is possible to grasp whether the process is retained. For example, on the screen illustrated in FIG. 10, the user can grasp that the process in the component SV004 is stagnant from the difference in the number of logs between the component SV002 and the component SV004.
  • FIG. 2 is a block diagram showing a device configuration of the log analysis system 100 according to the present embodiment.
  • the log analysis system 100 includes a CPU (Central Processing Unit) 101, a communication interface 102, a storage device 103, and a memory 104.
  • the log analysis system 100 may be connected to the display device 30 via the communication interface 102.
  • the log analysis system 100 may include the display device 30.
  • the log analysis system 100 may be an independent device.
  • the log analysis system 100 may be configured integrally with other devices.
  • the communication interface 102 is a communication unit that transmits and receives data, and is configured to be able to execute at least one communication method of wired communication and wireless communication.
  • the communication interface 102 includes a processor, an electric circuit, an antenna, a connection terminal, and the like necessary for the communication method.
  • the communication interface 102 is connected to a network using the communication method in accordance with a signal from the CPU 101 to perform communication.
  • the communication interface 102 receives the analysis target log 10 from the outside, for example.
  • the storage device 103 stores a program executed by the log analysis system 100, data of a processing result by the program, and the like.
  • the storage device 103 includes a read-only ROM (Read Only Memory), a readable / writable hard disk drive, a flash memory, or the like. Further, the storage device 103 may include a computer-readable portable recording medium such as a CD (Compact disc) -ROM.
  • the memory 104 includes a RAM (Random Access Memory) that temporarily stores data being processed by the CPU 101, a program read from the storage device 103, and data.
  • the CPU 101 temporarily records temporary data used for processing in the memory 104, reads a program recorded in the storage device 103, and performs various operations, control, discrimination, etc. on the temporary data according to the program. It is a processor as a process part which performs these processing operations.
  • the CPU 101 records processing result data in the storage device 103 and transmits processing result data to the outside via the communication interface 102.
  • the CPU 101 executes the program recorded in the storage device 103 to thereby execute the input unit 110, the format determination unit 120, the set determination unit 130, the connection information acquisition unit 140, the log aggregation unit 150, and the information in FIG. It functions as the output unit 160.
  • the storage device 103 functions as the format storage unit 171, the collective storage unit 172, and the state storage unit 173 in FIG.
  • the log analysis system 100 is not limited to the specific configuration shown in FIG.
  • the log analysis system 100 is not limited to a single device, and may be configured by connecting two or more physically separated devices in a wired or wireless manner.
  • Each unit included in the log analysis system 100 may be realized by an electric circuit configuration.
  • the electric circuit configuration is a term that conceptually includes a single device, a plurality of devices, a chipset, or a cloud.
  • At least a part of the log analysis system 100 may be provided in SaaS (Software as a Service) format. That is, at least a part of functions for realizing the log analysis system 100 may be executed by software executed via a network.
  • SaaS Software as a Service
  • FIG. 3 is a flowchart showing the operation of the log analysis system 100 according to the first embodiment.
  • the input unit 110 acquires the analysis target log 10 (step S101).
  • the format determination unit 120 determines whether each log included in the analysis target log 10 acquired in step S101 is a determination target and is compatible with any format recorded in the format storage unit 171 (step S102). ). If the analysis target log matches any format recorded in the format storage unit 171 (YES in step S103), the format determination unit 120 classifies each log included in the analysis target log 10 by format. To do.
  • step S102 If the determination target log does not conform to any format recorded in the format storage unit 171 in step S102 (NO in step S103), the next log of the analysis target log 10 is determined as a determination target in steps S102 to S102. S103 is repeated.
  • the set determination unit 130 uses each log included in the analysis target log 10 determined in step S102 as a determination target, and determines whether or not it matches the set recorded in the set storage unit 172 (step S104). If each determination target log matches the set recorded in the set storage unit 172 (YES in step S105), the set determination unit 130 classifies each determination target log for each set.
  • step S104 If the determination target log does not match any of the sets recorded in the set storage unit 172 in step S104 (NO in step S105), the next log of the determination target log is set as the determination target in steps S102 to S102. S105 is repeated.
  • steps S102 to S106 are repeated with the next log of the analysis target log 10 as a determination target.
  • connection information acquisition unit 140 determines, for each set determined by the set determination unit 130 in the analysis target log 10.
  • the connection information 20 of the system that is the output source of each log is acquired (step S107).
  • the log totaling unit 150 totalizes a collective log indicating each log for each set determined in step S105 (step S108). Based on the connection information 20 in step S107, the information output unit 160 outputs total information indicating the result totaled in step S108 to the display device 30 (step S109), and displays it for the user.
  • the log analysis system 100 determines each log in the analysis target log 10 for each format, determines each log for each format for each set, and for each format and for each set.
  • the connection information of the system that is the output source of each log determined in the above is acquired.
  • the log analysis system 100 aggregates each log aggregate log for each format and for each aggregate, and outputs the aggregate result based on the connection information 20.
  • the log analysis system 100 can display a result of a series of processes between each component of the system that outputs the analysis target log 10 by analyzing the analysis target log 10. Thereby, the progress status of a series of processes across a plurality of servers can be presented to the user based on the log output from the system.
  • connection information acquisition unit 140 may acquire the component from the value of the variable portion of the log when acquiring the log output source component from the log classified for each set.
  • the log output source component acquisition method will be described using the log “2015/08/17 08:29:37 [SV001] JNW 3258 has started” of the format ID 039 shown in FIG.
  • the values of the variable part of the log of the format ID 039 shown in FIG. 6 are “2015/08/17 08:29:37”, “SV001”, and “3258” with reference to the format ID 039 of FIG.
  • the connection information acquisition unit 140 refers to the value of the variable part, identifies the component “SV001”, and acquires the connection information of the component from the component.
  • a set recorded in advance in the set storage unit 172 (hereinafter, also referred to as “set determination criterion”) is actual when a time elapses from a set time or a device constituting the system is changed. May not fit. For this reason, the log analysis system 100 may change the set determination criterion based on logs accumulated in the past. For example, the log analysis system 100 may use a value (format ID) input from the user as a reference for the group determination after the change. As the update timing of the set determination reference, the log analysis system 100 may set the set determination reference after the change, for example, when a predetermined time has elapsed from the date when the set determination reference was previously set.
  • the log analysis system 100 may set a reference for determining the set after the change when the change of the device is detected when the device constituting the system that outputs the analysis target log 10 is replaced. In addition, the log analysis system 100 may set a reference for determining the set after the change in response to a user instruction.
  • the log analysis system 100 determines each log for each format determined by the format determination unit 120 based on a set including a plurality of formats recorded in the format storage unit 171.
  • the log analysis system 200 uses each log determined by the format determination unit 120 for each format based on a set including the order of a plurality of formats recorded in the set storage unit 272. judge.
  • FIG. 11 is a block diagram showing the configuration of the log analysis system 200 according to the present embodiment.
  • the log analysis system 200 includes an input unit 110, a format determination unit 120, a set determination unit 130, a connection information acquisition unit 140, a log aggregation unit 250, and an information output unit 260 as processing units. Further, the log analysis system 200 includes a format storage unit 171 and a set storage unit 272 as storage units. That is, the log analysis system 200 according to the second embodiment includes a set storage unit 272 instead of the set storage unit 172, the log totaling unit 150, and the information output unit 160 in the log analysis system 100 according to the first embodiment. A log totaling unit 250 and an information output unit 260 are provided.
  • the log totaling unit 250 uses each log for each set including the order determined by the set determining unit 130 and the connection information 20 acquired by the connection information acquiring unit 140 to total the logs for each set. Specifically, the log totaling unit 250 calculates the number of logs for each set and the number of unprocessed logs for each set ID and each component corresponding to the set ID, and sends the calculation result to the information output unit 260. .
  • FIG. 12 is a diagram illustrating an example of a set in the second embodiment.
  • the set is recorded in the set storage unit 272.
  • a set includes an order of a set ID and a plurality of format IDs.
  • the order of the plurality of format IDs represents the format ID associated with the order of a series of processes in each component of the system.
  • “Set ID” is “1”
  • “Order of format ID” is “039 ⁇ 055 ⁇ 071”.
  • the set indicates a series of processes in which the constituent elements corresponding to the formats 039, 055, and 071 are processed in this order.
  • the set including the order may be, for example, one in which each format ID has been registered.
  • the set including the order is not limited to this, and may be defined arbitrarily.
  • the set in this embodiment represents an order with an arrow, it is not restricted to this, You may represent an order with arbitrary character strings, a numerical value, or a figure.
  • the number of unprocessed logs represents the number of items that have not been processed by each system component.
  • the log totaling unit 250 performs the same processing as the log totaling unit 150 in the first embodiment, and calculates the total number of logs (hereinafter also referred to as “the number of processing cases”) for each component corresponding to the total ID. To do.
  • the log totaling unit 250 determines the number of unprocessed logs indicating that each component does not execute processing from the difference in the number of logs in the component order in the same set ID (hereinafter also referred to as “number of unprocessed items”). Is calculated.
  • the log totaling unit 250 sends a totaling result including the number of logs and the number of unprocessed logs to the information output unit 260.
  • the information output unit 260 outputs the aggregation result sent from the log aggregation unit 150 and the connection information 20 corresponding to the aggregation result based on the connection information 20.
  • the information output unit 260 is described as an example of outputting the aggregation result and connection information corresponding to the aggregation result.
  • the information output unit 260 outputs the aggregation result without outputting the connection information. Also good.
  • FIG. 13 is a diagram illustrating an example of a display screen of the aggregation result and connection information in the second embodiment.
  • a screen B shown in FIG. 13 displays a configuration result B1 sent from the log totaling unit 250 and a configuration display B2 indicating connection information corresponding to the totalization result B1.
  • the tabulation result B1 shown in FIG. 13 displays, for example, a table in which “set ID”, “component”, “number of processed cases”, and “number of unprocessed cases” are associated with each other.
  • An example of the total result displayed by the total result B1 is “set ID” “1”, “component” “SV001”, “number of processed cases” “50”, and “number of unprocessed cases” “0”. ".
  • the configuration display B2 shown in FIG. 13 is a diagram showing each component and the relationship between them based on the connection information 20 acquired by the connection information acquisition unit 140, for example.
  • the configuration display B2 is indicated by a symbol (here, a circle) indicating each component and a line connecting the components, and indicates that “Server001” and “Server002” are connected.
  • a character string (component name) indicating the component is displayed in the vicinity of the symbol indicating the component.
  • the number of processed cases and the number of unprocessed cases in the same set ID are shown as bar graphs. In the bar graph in the configuration display B2 shown in FIG. 13, the shaded area represents the number of unprocessed cases. Thereby, the user can easily know the progress of a series of processes across a plurality of servers based on the log output from the system.
  • the type, color, size, etc. of the symbol or character string indicating the staying places may be changed.
  • the staying location may be blinked.
  • the character strings and numerical values of the constituent elements and the number of unprocessed cases in the set ID in the totalization result B1, and the character string of the staying location in the configuration display B2 The colors may be the same.
  • the log analysis system 200 determines each log in the analysis target log 10 for each format, and sets each log for each format including an order of a plurality of formats recorded in the set storage unit 272.
  • the connection information of the system that is the output source of each log determined for each format and for each set is acquired.
  • the log analysis system 200 totals each log for each format and for each set, and outputs a totaling result and connection information corresponding to the totaling result based on the connection information 20.
  • the log analysis system 200 can display a result of a series of processes between each component of the system that outputs the analysis target log 10 by analyzing the analysis target log 10. Thereby, the progress status of a series of processes across a plurality of servers can be presented to the user based on the log output from the system.
  • the log analysis system 200 can output the configuration information including the bar graph to present the user with the progress of a series of processes across a plurality of servers based on the log output from the system.
  • error information is acquired from an external monitoring system in addition to the analysis target log 10 and the connection information 20, and the error information corresponds to the acquired aggregation result and the aggregation result. And connection information 20 to be output.
  • the error information includes, for example, an abnormal component and a message for the component (hereinafter also referred to as “error message”).
  • error message An example of the error information is that “component” is “SV004” and “error message” is “Disk error has occurred”.
  • the external monitoring system monitors a system constituted by each component that is the output source of the analysis target log 10 as a monitoring target, and if an abnormality of the monitoring target is detected, an error is detected in the log analysis system 200 of this modification.
  • Send information The input unit 110 of the present modification acquires error information and sends the acquired error information to the log totaling unit 250.
  • the log totaling unit 250 of this modification uses the logs for each set including the order determined by the set determining unit 130, the connection information 20 acquired by the connection information acquiring unit 140, and error information, Aggregate logs for each error information. Specifically, the log totaling unit 250 calculates the number of logs for each set and the number of unprocessed logs for each set ID and each component corresponding to the set ID. When there is a component included in the error information in each component corresponding to the set ID, the log totaling unit 250 associates the component with the error message included in the error information, and the log totaling unit 250 calculates The result (which may be indicated as a calculation result) and the error message are sent to the information output unit 260.
  • the information output unit 260 of the present modification outputs a calculation result and an error message associated with the connection information 20 corresponding to the aggregation result based on the connection information 20.
  • the output result output by the information output unit 260 of the present modification will be described using the total result B1 shown in FIG.
  • As an output result in this modification for example, a table in which “set ID”, “component”, “number of processed cases”, “number of unprocessed cases”, and “error message” are associated is displayed.
  • set ID is “1”
  • component is “SV004”
  • number of processed cases is “10”
  • number of unprocessed cases is “40”
  • Error message is “Disk error has occurred”.
  • the log analysis system 200 determines each log in the analysis target log 10 for each format, and sets each log for each format for each set including the order of a plurality of formats recorded in the set storage unit 272.
  • the connection information of the system that is the output source of each log determined for each format and for each set is acquired.
  • the log analysis system 200 of the present modification acquires error information obtained by an external monitoring system.
  • the log analysis system 200 according to the present modification totals each log for each format and each set, associates error messages based on each component and error information corresponding to the set, and totals based on the connection information 20 As a result, an error message and connection information 20 corresponding to the total result are output.
  • the log analysis system 200 can display a result of a series of processes between the components of the system that outputs the analysis target log 10 by analyzing the analysis target log 10. Thereby, the progress status of a series of processes across a plurality of servers can be presented to the user based on the log output from the system.
  • the log analysis system 200 according to the present modified example outputs an error message included in the acquired error information in association with a component, thereby causing problems such as staying in the progress of a series of processes across multiple servers. Can occur, information regarding the cause of the problem can be presented to the user.
  • the log totaling unit 250 may input an error message to the information output unit 260 when the number of unprocessed components corresponding to the error information exceeds a predetermined threshold.
  • the log analysis system 200 is described as an example in which the input unit 110 acquires error information, but the connection information acquisition unit 140 may acquire error information.
  • the input unit 110 according to the present modification may acquire monitoring information including error information from an external monitoring system, for example, according to a predetermined rule such as a fixed interval. Further, the input unit 110 of the present modification may acquire monitoring information when an alert is appropriately transmitted from an external monitoring system to the system.
  • the information output unit 260 of this modification may output an error message in association with the connection information 20.
  • an error message may be displayed in a display format such as a pop-up for the components on the configuration display B2 shown in FIG.
  • a recommendation information recommendation unit for generating recommendation information indicating information for instructing load distribution in processing of each component, and information indicating similarity between component elements (hereinafter referred to as “component classification information”). And a configuration classification storage unit 373 in which (description) is recorded in advance.
  • FIG. 14 is a block diagram of the log analysis system 300 according to the present embodiment.
  • the log analysis system 300 includes an input unit 110, a format determination unit 120, a set determination unit 130, a connection information acquisition unit 140, a log aggregation unit 150, a recommended information generation unit 380, and an information output unit 260 as processing units.
  • the log analysis system 300 includes a format storage unit 171, a set storage unit 172, and a configuration classification storage unit 373 as storage units.
  • the log analysis system 300 according to the present embodiment includes a recommendation information generation unit 380 and a configuration classification storage unit 373 in addition to the configuration of FIG.
  • the recommendation information generation unit 380 generates recommendation information based on the component classification information stored in the configuration classification storage unit 373, the connection information input by the connection information acquisition unit 140, and the aggregation result input by the log aggregation unit 150. Generate. Specifically, the recommendation information generation unit 380 selects a staying component indicating a component in which processing is staying based on the connection information and the aggregation result, and a similar component based on the staying component and the component classification information. An alternative component indicating is extracted. The recommendation information generation unit 380 determines whether the extracted substitute component and the previous component that performs the previous process of the stay component are connected based on the connection information. When the alternative component and the previous-stage component are connected, the recommendation information generation unit 380 generates recommendation information indicating the alternative component as a load distribution destination of the stay component, and sends the recommendation information to the information output unit 260. input.
  • the component classification information indicates that, for example, the processing and configuration of a plurality of components are similar.
  • the process of the component element SV004 for example, process A
  • the process of the component element SV005 process B
  • the alternative component element of “component element SV004” is “configuration” Element SV005 ".
  • the component classification information may include a plurality of alternative component elements similar to the component element.
  • FIG. 15 is a diagram illustrating an example of a display screen of recommendation information and connection information 20 according to the third embodiment.
  • a screen C illustrated in FIG. 15 displays recommendation information C1 generated by the recommendation information generation unit 380 and a configuration display C2 indicating connection information corresponding to the aggregation result input from the log aggregation unit 150.
  • the recommendation information C1 shown in FIG. 15 is represented by an arrow, but is not limited thereto, and may be represented by an arbitrary character string, numerical value, or figure.
  • the configuration display C2 illustrated in FIG. 15 is a diagram illustrating each component and the relationship between them based on the connection information 20 acquired by the connection information acquisition unit 140, for example.
  • the configuration display C2 is indicated by a symbol (here, a circle) indicating each component and a line connecting the components. For example, “Server001” and “Server002” are connected. Represents.
  • a character string (component name) indicating the component is displayed in the vicinity of the symbol indicating the component.
  • a staying location C3 indicating a staying component is highlighted with a double circle. As a result, the user can easily know the components that have staying.
  • the type, color, size, etc. of the symbol or character string indicating the recommendation information C1 may be changed.
  • the recommendation information C1 may be blinked.
  • the type and color of the symbol or character string of the recommendation information C1 and the symbol or character string of the stay location C3 in the configuration display C2 The type and color may be the same. As a result, the user can easily know that the stay is associated with the recommended information among the plurality of kinds of stay and the recommendation information for eliminating the stay.
  • the log analysis system 300 determines each log in the analysis target log 10 for each format, and sets each log for each format for each set including a plurality of formats recorded in the format storage unit 171.
  • the connection information of the system that is the output source of each log determined for each format and for each set is acquired.
  • the log analysis system 300 aggregates each log aggregate log for each format and each aggregate, generates recommendation information based on the aggregation result and the component element classification information recorded in the component classification storage unit 373, and the recommendation analysis Information and connection information corresponding to the recommendation information are output.
  • the log analysis system 300 can display a result of a series of processes between each component of the system that outputs the analysis target log 10 by analyzing the analysis target log 10. Thereby, the progress status of a series of processes across a plurality of servers can be presented to the user based on the log output from the system.
  • the log analysis system 300 outputs recommendation information and connection information, so that a process stagnation that occurs in a series of processes across a plurality of servers based on a log output from the system is transferred to another component. It can be presented to the user to change the process.
  • the recommendation information generation unit 380 may generate recommendation information when receiving notification of abnormality by an external input from a person or system or an alert from a monitoring system that monitors the analysis target log 10. Good. Thereby, in the log analysis system 300, the recommendation information generation unit 380 does not always have to execute the process, and the load on the system can be reduced.
  • the recommendation information generation unit 380 may generate recommendation information based on an operating state that is a processing state of a system in which a component is operating.
  • the operating state is, for example, CPU usage rate, physical memory usage rate, process information, number of packets, or information on alive monitoring.
  • the recommendation information generation unit 380 compares the operating state of the staying component and the plurality of alternative components, selects an alternative component with a good operating state (low processing load), and recommend information for the alternative component Is generated. Accordingly, the recommendation information generation unit 380 can generate recommendation information for an alternative component having a good operating state.
  • the operating state may be stored in advance in the configuration classification storage unit 373 or may be included in the connection information 20.
  • the recommendation information generation unit 380 may generate the component element classification information based on the connection information and the aggregation result. In this case, the recommendation information generation unit 380 determines the similarity between the component elements using the connection information and the aggregation result, and generates component element classification information from the determination result.
  • FIG. 16 is a block diagram of a log analysis system 400 according to the fourth embodiment.
  • the log analysis system 400 includes a format learning unit 491 and a set learning unit 492 in addition to the configuration of FIG.
  • the format learning unit 491 creates a new format when the determination target log does not match any format recorded in the format storage unit 171. Record in the storage unit 171.
  • the format learning unit 491 As a first method for the format learning unit 491 to learn the format, the format learning unit 491 accumulates a plurality of logs whose formats are unknown, and a variable part that changes statistically and a constant that does not change. By separating the parts, it can be defined as a new format. As a second method for the format learning unit 491 to learn the format, the format learning unit 491 reads a list of known variable values and matches or resembles a known variable value in a log whose format is unknown. A new format can be defined by determining a part to be performed as a variable part and determining other parts as a constant part. As a known variable value, the value itself may be used, or a pattern such as a regular expression may be used. The format learning method is not limited to these, and any learning algorithm that can define a new format for the input log may be used.
  • the set learning unit 492 creates a new set if the determination target log does not match any set recorded in the set storage unit 172. Records in the storage unit 172.
  • the set determination unit 130 determines a log that does not match any of the sets recorded in the set storage unit 172 as a non-target log. However, even if the set is unknown, it may be a target log. is there. In this case, when the user inputs an instruction that the log that does not match the set of the set storage unit 172 is the target log through the input device, the set learning unit 492 generates a new set based on the log format and connection information. Is recorded in the set storage unit 172.
  • the set learning method is not limited to this, and any learning algorithm capable of newly defining a set from an input log may be used.
  • the log analysis system 400 includes a learning unit for learning a format and a set, a new format or set can be generated and recorded from a log of an unknown format or set.
  • FIG. 17 is a block diagram showing a schematic configuration of the log analysis system according to the first to fourth embodiments described above.
  • FIG. 17 shows a configuration example for the log analysis system 500 to function as a device that outputs information related to the progress status of a series of processes across each component to which the analysis target log 10 is output.
  • the log analysis system 500 includes a format determination unit 120 that determines which format a plurality of logs output from the system components out of a plurality of predetermined formats, and a set of a plurality of formats, A connection for acquiring connection information indicating the relationship between a set determination unit 130 that determines which set includes a plurality of logs for each determined format and a component that outputs a plurality of logs for each determined set.
  • the information acquisition part 140, the log total part 550 which totals the some log for every set for every component, and the information output part 560 which outputs a total result for every component based on connection information are provided.
  • the log totaling unit 550 is the same as the function of the log totaling unit 150 or the log totaling unit 250, and the information output unit 560 is the same as the function of the information output unit 160 or the information output unit 260.
  • a program for operating the configuration of the embodiment to realize the functions of the above-described embodiment (more specifically, a program for causing a computer to execute the processing illustrated in FIG. 3) is recorded on a recording medium, and the recording medium is recorded on the recording medium.
  • a processing method of reading a recorded program as a code and executing it on a computer is also included in the category of each embodiment. That is, a computer-readable recording medium is also included in the scope of each embodiment.
  • the program itself is included in each embodiment.
  • the recording medium for example, a floppy (registered trademark) disk, hard disk, optical disk, magneto-optical disk, CD-ROM, magnetic tape, nonvolatile memory card, and ROM can be used.
  • the program is not limited to a program recorded on the recording medium, but is operated on an OS (operating system) in cooperation with other software and an expansion board function.
  • OS operating system

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Debugging And Monitoring (AREA)

Abstract

システムから出力されたログに基づき複数のサーバにまたがる一連の処理の進行状況をユーザに提示可能なログ分析システム等を提供する。ログ分析システムは、予め定められる複数の形式のうち、システムの構成要素から出力される複数のログがいずれの形式であるかを判定する形式判定部と、前記複数の形式の集合のうち、判定された前記形式ごとの複数のログがいずれの集合であるかを判定する集合判定部と、判定された前記集合ごとの複数のログを出力した構成要素の関係性を示す接続情報を取得する接続情報取得部と、前記集合ごとの複数のログを前記構成要素ごとに集計するログ集計部と、前記接続情報に基づき、前記構成要素ごとに集計結果を出力する情報出力部を備える。

Description

ログ分析システム、ログ分析方法及びプログラムを格納する記録媒体
 本発明は、ログの分析を行うためのログ分析システム等に関する。
 コンピュータ上で実行されるシステムにおいては、イベントの結果やメッセージ等を含むログが出力される。システム等に異常が発生した際には、ユーザ(例えばオペレータ)は、出力されたログを分析又は解析することで、異常の原因を特定する。
 システム異常の原因の追及等のためにログ分析を行う際、ユーザはシステムから出力される多数のログを参照する必要がある。ユーザへの負担を軽減するために、ログに基づく分析を補助する情報を提供することが求められている。例えば、ログに基づく分析を補助する情報の一例は、システムに含まれる複数のサーバにまたがる一連の処理の進行状況を把握するための情報(以降、「処理状況把握情報」とする)である。出力されるログに基づいて取得される処理状況把握情報により、一連の処理を行う複数のサーバのうち処理が滞留しているサーバが特定される。ユーザは、特定されたサーバの状態を調査することで、システムの異常の原因を特定することができる。
 このような一連の処理の進行状況を把握することを目的として、特許文献1は、業者や顧客から業務完了を示す情報を受け付けると、データベースの当該業務に関するテーブルを更新し、更新したテーブルに記録された業務の未処理件数を集計し、集計した未処理件数と業務の流れを示す図形(例えば、矢印)を対応付けて表示する技術を開示する。
国際公開第2015/002059号 特開2014-120001号公報 特開2006-338413号公報
 しかしながら、特許文献1が開示する技術は、業務完了を示す情報に基づきデータベースのテーブルを更新する必要があり、システムから出力されたログに基づいて一連の処理の進行状況を把握することはできない。
 本発明の目的は、上記課題を解決し、システムから出力されたログに基づき複数のサーバにまたがる一連の処理の進行状況をユーザに提示可能なログ分析システム等を提供することである。
 本発明の一態様におけるログ分析システムは、予め定められる複数の形式のうち、システムの構成要素から出力される複数のログがいずれの形式であるかを判定する形式判定部と、前記複数の形式の集合のうち、判定された前記形式ごとの複数のログがいずれの集合であるかを判定する集合判定部と、判定された前記集合ごとの複数のログを出力した構成要素の関係性を示す接続情報を取得する接続情報取得部と、前記集合ごとの複数のログを前記構成要素ごとに集計するログ集計部と、取得された前記接続情報に基づき、前記構成要素ごとに集計結果を出力する情報出力部を備える。
 本発明の一態様におけるログ分析方法は、ログ分析方法であって、予め定められる複数の形式のうち、システムの構成要素から出力される複数のログがいずれの形式であるかを判定し、前記複数の形式の集合のうち、判定された前記形式ごとの複数のログがいずれの集合であるかを判定し、判定された前記集合ごとの複数のログを出力した構成要素の関係性を示す接続情報を取得し、前記集合ごとの複数のログを前記構成要素ごとに集計し、取得された前記接続情報に基づき、前記構成要素ごとに前記集計結果を出力する。
 本発明の一態様における記録媒体に格納されたプログラムは、コンピュータに、予め定められる複数の形式のうち、システムの構成要素から出力される複数のログがいずれの形式であるかを判定する処理と、前記複数の形式の集合のうち、判定された前記形式ごとの複数のログがいずれの集合であるかを判定する処理と、判定された前記集合ごとの複数のログを出力した構成要素の関係性を示す接続情報を取得する処理と、前記集合ごとの複数のログを前記構成要素ごとに集計する処理と、取得された前記接続情報に基づき、前記構成要素ごとに前記集計結果を出力する処理を実行させる。
 本発明によれば、システムから出力されたログに基づき複数のサーバにまたがる一連の処理の進行状況をユーザに提示することができる。
第1の実施形態に係るログ分析システムの構成を示すブロック図である。 第1の実施形態に係るログ分析システムの機器構成を示す概略構成図である。 第1の実施形態に係るログ分析システムの動作例を示すフローチャートである。 第1の実施形態における分析対象ログの例を示す図である。 第1の実施形態における形式情報の例を示す図である。 第1の実施形態における形式判定結果の例を示す図である。 第1の実施形態における集合の例を示す図である。 第1の実施形態における集合判定結果の例を示す図である。 第1の実施形態における集計結果の例を示す図である。 第1の実施形態における集計結果の表示画面の例を示す図である。 第2の本実施形態に係るログ分析システムの構成を示すブロック図である。 第2の実施形態における集合の例を示す図である。 第2の実施形態における集計結果及び接続情報の表示画面の例を示す図である。 第3の実施形態に係るログ分析システムの構成を示すブロック図である。 第3の実施形態における推薦情報及び接続情報の表示画面の例を示す図である。 第4の実施形態に係るログ分析システムの構成を示すブロック図である。 第1-第4の実施形態に係るログ分析システムの概略構成を示すブロック図である。
 以下、図面を参照して、実施形態を説明するが、本発明は本実施形態に限定されるものではない。なお、以下で説明する図面で、同機能を有するものは同一符号を付け、その繰り返しの説明は省略することもある。
 <第1の実施形態>
 以下、第1の実施形態について、図面を参照して詳細に説明する。
 図1は、第1の実施形態に係るログ分析システム100の構成を示すブロック図である。図1において、各ブロックはハードウェア(装置)単位の構成ではなく、機能単位の構成を示している。そのため、図1に示すブロックは単一の装置内に実装されてよく、あるいは複数の装置内に別れて実装されてよい。ブロック間のデータの授受は、データバス、ネットワーク、可搬記録媒体等、任意の手段を介して行われてよい。
 図1を参照すると、本実施形態におけるログ分析システム100は、処理部として、入力部110、形式判定部120、集合判定部130、接続情報取得部140、ログ集計部150、及び情報出力部160を備える。また、ログ分析システム100は、記憶部として、形式記憶部171、集合記憶部172を備える。
 入力部110は、分析対象のログである分析対象ログ10を取得し、形式判定部120に送る。図4は、第1の実施形態における分析対象ログ10の例を示す図である。本実施形態における分析対象ログ10は、システムに含まれる1以上の構成要素から出力される。構成要素は、例えば、サーバ等の物理装置、仮想マシン等の仮想装置、各種プログラムである。本実施形態における分析対象ログ10は、構成要素から出力される1つのログを1単位とし、1つ以上の任意の数のログを含む。例えば、図4が示す分析対象ログ10の一例は、「2015/08/17 08:29:37 [SV001] JNW3258が開始しました。」である。
 分析対象ログ10は、分析対象ログ10に含まれるログの総体を示し、ログは分析対象ログ10から抜き出された1つのログを示す。分析対象ログ10は、ログ分析システム100の外部から取得されてもよい。また、分析対象ログ10は、ログ分析システム100の内部に予め記録されたものを読み出すことにより取得されてよい。分析対象ログ10は、1つ以上の装置又はプログラムから出力される1つ以上のログを含む。分析対象ログ10は、任意のデータ形式(ファイル形式)で表されたログであり、例えばバイナリデータ又はテキストデータでよい。また、分析対象ログ10は、データベースのテーブルとして記録されてよい。また、分析対象ログ10は、テキストファイルとして記録されてよい。
 また、各ログは、タイムスタンプ及びメッセージ等を含む。ログ分析システム100は、特定の種類のログに限らず、広範な種類のログを分析対象とすることができる。例えば、syslog、イベントログ等のオペレーティングシステムやアプリケーションから出力されるメッセージを記録するログを分析対象ログ10として用いることができる。
 形式判定部120は、分析対象ログ10に含まれる各ログに対して、形式記憶部171に予め記録されているいずれの形式(フォーマット)に適合するかを判定し、判定結果を集合判定部130に送る。具体的には、形式判定部120は、分析対象ログ10に含まれる各ログを形式ごとに分類し、形式毎に分類した各ログを集合判定部130に送る。また、形式判定部120は、判定により適合する形式を用いて各ログを変数部分と定数部分とに分離する。
 形式とは、既知のログの形式であってよい。また、形式は、ログの特性に基づいて予め決められた、ログの形式であってよい。ログの特性には、例えば、互いに類似するログ間で変化しやすい又は変化しづらいという性質、あるいは、ログ中で変化しやすい部分とみなせる文字列が記載されているという性質が含まれる。
 形式の変数部分は、形式の中で変化可能な部分であり、定数部分とはログの形式の中で変化しない部分である。送られたログ中の変数部分の値(数値、文字列及びその他のデータを含む)を変数値と呼ぶ。変数部分及び定数部分は、形式毎に異なる。そのため、ある形式では変数部分として定義される部分が、別の形式では定数部分として定義されることや、その逆があり得る。
 図5は、第1の実施形態に係る形式情報の例を示す図である。形式情報は、形式記憶部171に記録される。形式情報は、形式と形式の識別子である形式ID(Identification)を含む。形式は、一意のIDに関連付けられた形式を表す文字列を含む。形式は、ログ中の変化可能な部分に所定の識別子を記載することによって変数部分として規定し、ログ中の変数部分以外の部分を定数部分として規定する。変数部分の識別子として、例えば「<変数:タイムスタンプ>」はタイムスタンプを表す変数部分を示し、「<変数:文字列>」は任意の文字列を表す変数部分を示す。変数部分の識別子として、例えば、「<変数:数値>」は任意の数値を表す変数部分を示し、「<変数:IP>」は任意のIP(Internet Protocol)アドレスを表す変数部分を示す。変数部分の識別子はこれらに限られず、正規表現や、取り得る値のリスト等の任意の方法により定義されてよい。形式は変数部分を含まずに定数部分によって構成されてよく、あるいは定数部分を含まずに変数部分によって構成されてもよい。また、形式は変数部分を含まずに定数部分のみによって構成されてよく、あるいは定数部分を含まずに変数部分のみによって構成されてよい。
 例えば、形式判定部120は、図4の1行目のログである「2015/08/17 08:29:37 [SV001] JNW3258が開始しました。」を、図5のIDが「039」である形式に適合すると判定する。そして、形式判定部120は、判定された形式に基づいて該ログを処理し、タイムスタンプである「2015/08/17 08:29:37」、文字列である「SV001」及び数値である「3258」を変数値として決定する。
 図5において、形式は視認性のために文字列のリストで表されているが、任意のデータ形式(ファイル形式)で表されてよく、例えばバイナリデータ又はテキストデータでよい。また、形式はテキストファイルとして形式記憶部171に記録されてよい。また、形式はデータベースのテーブルとして形式記憶部171に記録されてよい。
 図6は、第1の実施形態に係る形式判定結果の例を示す図である。形式判定結果は、形式判定部120により、形式記憶部171に記録された形式ごとに分類された、分析対象ログ10に含まれる各ログである。図6が示す形式判定結果は、各ログと形式IDを含む。図6が示す形式判定結果は、形式IDに関連付けられたログである。
形式判定結果は、例えば、「ログ」が「2015/08/17 08:29:37 [SV001] JNW3258が開始しました。」、「形式ID」が「039」、である。
 すなわち、形式判定部120は、予め定められる複数の形式のうち、システムの構成要素から出力される複数のログがいずれの形式であるかを判定する。
 なお、形式判定部120は、分析対象ログ10に含まれる各ログが形式記憶部171中のいずれの形式にも適合しない場合、該ログを集合判定部130に送らず形式記憶部171に記憶する。形式に適合しないログを収集しておくことで、ログの形式を新たに追加するための情報として用いることができる。
 集合判定部130は、形式判定部120により判定された形式ごとの各ログに対して、集合記憶部172に予め記録されている集合に適合するかを判定し、判定結果を接続情報取得部140に送る。具体的には、集合判定部130は、判定された形式毎の各ログを集合記憶部172の集合毎に分類し、集合毎に分類した各ログを接続情報取得部140に送る。集合記憶部172には、1つ以上の集合が予め記録されている。
 図7は、集合記憶部172に記録される集合の例を示す図である。集合は、構成要素を跨る一連の処理を示す情報である。構成要素の他、構成要素と関連付けが可能な情報を用いてもよい。例えば、集合は、図6に示すように構成要素を含むログと関連付け可能な形式IDで示されてもよい。図7に示す集合は、集合の識別子である集合IDと複数の形式IDで示される。また集合は、一意のIDに関連付けられた形式IDを表す数値を含んでもよい。図7が示す集合の一例は、「集合ID」が「1」、「複数の形式ID」が「039,055,071」である。すなわち、同一の集合IDに関連付けられた039、055、及び071の各形式に対応する各構成要素により、該構成要素間にまたがる一連の処理が実行される。集合は、各形式IDが登録済のものであってもよい。集合はこれに限られず、任意の定義でもよい。
 また、集合は、例えば、形式IDと該形式IDの出力元であるシステム(構成要素)の情報とが対応付けられた形式情報が1以上含まれていてもよい。例えば、該集合の一例は、「集合ID」が「1」、「形式情報」が「039(SV001),055(SV002),071(SV004)」である。「039(SV001)」は、形式IDである039と該形式ID039に該当するログの出力元であるSV001(Server001)とが対応付けられていることを示す。
 図8は、第1の実施形態における集合判定結果の例を示す図である。集合判定結果は、集合判定部130により、集合記憶部172に記録された集合ごとに分類された、形式ごとの各ログである。図8が示す集合判定結果は、形式ごとの各ログと集合IDを含む。該集合判定結果は、ログと形式IDと集合IDを含む。該集合判定結果は、形式IDと集合IDとに関連付けられたログである。例えば、集合判定結果の一例は、「ログ」が「2015/08/17 08:29:37 [SV001] JNW3258が開始しました。」、「形式ID」が「039」、「集合ID」が「1」である。すなわち、集合判定部130は、複数の形式の集合のうち、判定された形式ごとの複数のログがいずれの集合であるかを判定する。
 接続情報取得部140は、集合判定部130から送られた集合ごとの各ログの出力元である構成要素の接続情報20を取得し、接続情報20をログ集計部150に送る。
接続情報20とは、構成要素に関する情報である。接続情報20は、分析対象ログ10を出力する各構成要素の情報と、該構成要素間の依存関係を示す情報である。接続情報20は、例えば、構成要素名、構成要素のリソース、システムの構成要素間のネットワークによる接続関係、仮想装置やプログラムの主従関係を含む。
 例えば、図8が示すように、接続情報取得部140は、集合ごとに分類されたログである「2015/08/17 08:29:37 [SV001] JNW 3258 が開始しました。」から該ログの出力元の構成要素である「SV001」を特定し、該構成要素の接続情報を該構成要素から取得する。
 なお、本実施形態において、接続情報取得部140は、接続情報20をログ分析システム100の外部から取得する場合を例として説明している。しかしながら、これは一例であり、接続情報取得部140は、例えば、ログ分析システム100の内部の記録媒体に予め記録されている接続情報20を読み出して取得してもよい。
 その他、接続情報取得部140は、例えば、集合ごとの各ログの出力元の構成要素を監視する監視システムから接続情報20を取得してもよい。
 ログ集計部150は、集合判定部130により判定された集合ごとの各ログを集計する。具体的には、ログ集計部150は、集合IDと該集合IDに対応する構成要素ごとに、集合ごとの各ログの出現回数であるログ件数を算出し、集計結果を情報出力部160に送る。
 図9は、第1の実施形態における集計結果の例を示す図である。集計結果は、集合記憶部172に記録された集合と該集合に対応する構成要素ごとにログ集計部150で集計されたログ件数である。図9が示す集計結果は、集合IDと構成要素とログ件数であり、具体的には、集合IDと、該集合IDに対応付けられた構成要素と、該構成要素に関連付けられたログの件数である。例えば、集計結果の一例は、「集合ID」が「1」、「構成要素」が「SV001」、「ログ件数」が「50」である。すなわち、ログ集計部150は、集合ごとの複数のログを構成要素ごとに集計する。
 情報出力部160は、集合ID、該集合IDに対応付けられた構成要素および該構成要素に関連付けられたログ件数を、接続情報20が示す構成要素の接続関係に基づいて構成要素順に出力する。構成要素順とは、一連の処理における始点の構成要素から終点の構成要素への順序を表す。すなわち、情報出力部160は、接続情報に基づいて、構成要素ごとに集計結果を出力する。本実施形態において、情報出力部160は表示装置30に集計結果を出力し、表示装置30はユーザに向けて集計結果を画像として表示する。表示装置30は、画像を表示するための液晶ディスプレイ、CRT(Cathode Ray Tube)ディスプレイ等の表示部を備える。
 図10は、第1の実施形態における集計結果の表示画面の例を示す図である。図10が示す画面Aでは、ログ集計部150から送られた集計結果が表示される。図10の画面Aでは、例えば、「集合ID」と「構成要素」と「ログ件数」とが対応付けられた表が表示される。該画面Aが表示する集計結果の一例は、「集合ID」が「1」、「構成要素」が「SV001」、「ログ件数」は「50」である。また、図10に示した表示画面では、上から構成要素順にログ件数が表示される。すなわち、一連の処理が「SV001」により開始され、「SV002」、「SV004」の順に実行される。
 なお、図10が示す画面は一例であり、ログ集計部150から送られた集計結果をユーザに対して視認可能に表示できるのであれば、画面の表示方法は限定されない。また、ログ分析システム100(情報出力部160)による情報(例えば、集計結果)の出力方法は、ユーザに向けた画像表示に限られない。例えば、情報出力部160は出力すべき情報をデータとして出力し、ログ分析システム100又はその他システムは情報出力部160からのデータに対して記録処理、印刷処理、分析処理、統計処理等を行ってもよい。
 図10の画面を参照することによって、ユーザは分析対象ログ10中の各ログから1つの集合による各構成要素の処理結果を確認でき、各構成要素の該処理結果の差分から、どの構成要素で処理が滞留しているのかを把握することができる。例えば、図10が示す画面では、ユーザは、構成要素SV002と構成要素SV004とのログ件数の差分から、構成要素SV004での処理が滞留していると把握できる。
 図2は、本実施形態に係るログ分析システム100の機器構成を示すブロック図である。ログ分析システム100は、CPU(Central Processing Unit)101と、通信インターフェース102と、記憶装置103と、メモリ104を備える。ログ分析システム100は、表示装置30に通信インターフェース102を介して接続されてよい。また、ログ分析システム100は、表示装置30を含んでよい。ログ分析システム100は独立した装置でよい。また、ログ分析システム100は、他の装置と一体に構成されてよい。
 通信インターフェース102は、データの送受信を行う通信部であり、有線通信及び無線通信の少なくとも一方の通信方式を実行可能に構成される。通信インターフェース102は、該通信方式に必要なプロセッサ、電気回路、アンテナ、接続端子等を含む。通信インターフェース102は、CPU101からの信号に従って、該通信方式を用いてネットワークに接続され、通信を行う。通信インターフェース102は、例えば分析対象ログ10を外部から受信する。
 記憶装置103は、ログ分析システム100が実行するプログラムや、プログラムによる処理結果のデータ等を記憶する。記憶装置103は、読み取り専用のROM(Read Only Memory)や、読み書き可能のハードディスクドライブ又はフラッシュメモリ等を含む。また、記憶装置103は、CD(Compact disc)-ROM等のコンピュータ読取可能な可搬記録媒体を含んでもよい。メモリ104は、CPU101が処理中のデータや記憶装置103から読み出されたプログラム及びデータを一時的に記憶するRAM(Random Access Memory)等を含む。
 CPU101は、処理に用いる一時的なデータをメモリ104に一時的に記録し、記憶装置103に記録されたプログラムを読み出し、該プログラムに従って該一時的なデータに対して種々の演算、制御、判別等の処理動作を実行する処理部としてのプロセッサである。また、CPU101は、記憶装置103に処理結果のデータを記録し、また通信インターフェース102を介して処理結果のデータを外部に送信する。
 本実施形態においてCPU101は、記憶装置103に記録されたプログラムを実行することによって、図1の入力部110、形式判定部120、集合判定部130、接続情報取得部140、ログ集計部150及び情報出力部160として機能する。また、本実施形態において記憶装置103は、図1の形式記憶部171、集合記憶部172及び状態記憶部173として機能する。
 ログ分析システム100は、図2に示す具体的な構成に限定されない。ログ分析システム100は、1つの装置に限られず、2つ以上の物理的に分離した装置が有線又は無線で接続されることにより構成されていてもよい。ログ分析システム100に含まれる各部は、それぞれ電気回路構成により実現されていてもよい。ここで、電気回路構成とは、単一のデバイス、複数のデバイス、チップセット又はクラウドを概念的に含む文言である。
 また、ログ分析システム100の少なくとも一部がSaaS(Software as a Service)形式で提供されてよい。すなわち、ログ分析システム100を実現するための機能の少なくとも一部が、ネットワーク経由で実行されるソフトウェアによって実行されてよい。
 図3を用いて、本実施形態の動作について説明する。図3は、第1の実施形態に係るログ分析システム100の動作を示すフローチャートである。
 入力部110は、分析対象ログ10を取得する(ステップS101)。形式判定部120は、ステップS101で取得された分析対象ログ10に含まれる各ログを判定対象として、形式記憶部171に記録されたいずれかの形式に適合するか否かを判定する(ステップS102)。形式判定部120は、分析対象のログが形式記憶部171に記録されたいずれかの形式に適合する場合(ステップS103でYES)には、分析対象ログ10に含まれる各ログを形式ごとに分類する。
 ステップS102において判定対象のログが形式記憶部171に記録されたいずれの形式にも適合しない場合には(ステップS103のNO)、分析対象ログ10の次の1つのログを判定対象としてステップS102~S103が繰り返される。
 集合判定部130は、ステップS102において判定された分析対象ログ10に含まれる各ログを判定対象として、集合記憶部172に記録された集合に適合するか否かを判定する(ステップS104)。集合判定部130は、判定対象の各ログが集合記憶部172に記録された集合に適合する場合(ステップS105でYES)には、判定対象の各ログを集合ごとに分類する。
 ステップS104において判定対象のログが集合記憶部172に記録されたいずれの集合にも適合しない場合には(ステップS105のNO)、判定対象のログの次の1つのログを判定対象としてステップS102~S105が繰り返される。
 分析対象ログ10中の全てのログに対して分析が終了していない場合には(ステップS106のNO)、分析対象ログ10の次の1つのログを判定対象としてステップS102~S106が繰り返される。
 分析対象ログ10中の全てのログに対して分析が終了した場合には(ステップS106のYES)、接続情報取得部140は、分析対象ログ10において、集合判定部130により判定された集合ごとの各ログの出力元であるシステムの接続情報20を取得する(ステップS107)。
 ログ集計部150は、ステップS105において判定された集合ごとの各ログを示す集合ログを集計する(ステップS108)。情報出力部160は、ステップS107において接続情報20に基づき、ステップS108で集計された結果を示す集計情報を表示装置30に出力し(ステップS109)、ユーザに向けて表示させる。
 以上のように、本実施形態に係るログ分析システム100は、分析対象ログ10中の各ログを形式ごとに判定し、該形式ごとの各ログを集合ごとに判定し、該形式ごとかつ集合ごとに判定された各ログの出力元であるシステムの接続情報を取得する。ログ分析システム100は、該形式ごとかつ集合ごとの各ログ集合ログを集計し、接続情報20に基づいて集計結果を出力する。
 ログ分析システム100は、分析対象ログ10を分析することにより、該分析対象ログ10を出力するシステムの各構成要素間における一連の処理の結果を表示できる。これにより、システムから出力されたログに基づき複数のサーバにまたがる一連の処理の進行状況をユーザに提示できる。
 なお、接続情報取得部140は、集合ごとに分類されたログから該ログの出力元の構成要素を取得する際に、該ログの変数部分の値から構成要素を取得してもよい。
 例えば、図6が示す形式ID039のログ「2015/08/17 08:29:37 [SV001] JNW 3258 が開始しました。」を用いてログの出力元の構成要素の取得方法を説明する。図6が示す形式ID039のログの変数部分の値は、図5の形式ID039を参照すると「2015/08/17 08:29:37」、「SV001」、及び「3258」となる。接続情報取得部140は、該変数部分の値を参照し、構成要素である「SV001」を特定し、該構成要素の接続情報を該構成要素から取得する。
 なお、集合記憶部172に予め記録されている集合(以降、「集合判定の基準」とも記載)は、設定された時期から時間が経過したり、システムを構成する機器が変更されたりすると、実態に合わなくなることがある。そのため、ログ分析システム100は、過去に蓄積したログに基づいて集合判定の基準を変更してよい。例えば、ログ分析システム100は、ユーザから入力された値(形式ID)を変更後の集合判定の基準として用いてよい。集合判定の基準の更新タイミングとして、ログ分析システム100は、例えば集合判定の基準が前回設定された日から所定の時間が経過した場合に、変更後の集合判定の基準を設定してよい。また、ログ分析システム100は、分析対象ログ10を出力するシステムを構成する機器がリプレースされる際等に機器の変更を検知した場合に、変更後の集合判定の基準を設定してもよい。また、ログ分析システム100は、ユーザの指示を契機として、変更後の集合判定の基準を設定してもよい。
 <第2の実施形態>
 以下、第2の実施形態について、図面を参照して詳細に説明する。
 第1の実施形態に係るログ分析システム100は形式判定部120により判定された形式ごとの各ログを、形式記憶部171に記録されている複数の形式を含む集合に基づいて判定する。一方、第2の実施形態に係るログ分析システム200は、形式判定部120により判定された形式ごとの各ログを、集合記憶部272に記録されている複数の形式の順序を含む集合に基づいて判定する。
 図11は、本実施形態に係るログ分析システム200の構成を示すブロック図である。ログ分析システム200は、処理部として、入力部110、形式判定部120、集合判定部130、接続情報取得部140、ログ集計部250、及び情報出力部260を備える。また、ログ分析システム200は、記憶部として、形式記憶部171、集合記憶部272を備える。すなわち、第2の実施形態に係るログ分析システム200は、第1の実施形態に係るログ分析システム100における集合記憶部172、ログ集計部150及び情報出力部160の代わりに、集合記憶部272、ログ集計部250及び情報出力部260を備える。
 ログ集計部250は、集合判定部130により判定された順序を含む集合ごとの各ログと接続情報取得部140により取得された接続情報20を用いて、集合ごとのログを集計する。具体的には、ログ集計部250は、集合IDと該集合IDに対応する構成要素ごとに、集合ごとのログ件数及び未処理のログ件数を算出し、該算出結果を情報出力部260に送る。
 図12は、第2の実施形態における集合の例を示す図である。集合は、集合記憶部272に記録される。集合は、集合IDと複数の形式IDの順序を含む。複数の形式IDの順序は、システムの各構成要素における一連の処理の順序と対応付けられた形式IDを表す。
 図12に示す集合の一例は、「集合ID」が「1」、「形式IDの順序」が「039→055→071」である。該集合は、形式IDである039、055、及び071の各形式に該当する構成要素が当該順序にて処理される、一連の処理であることを示す。順序を含む集合は、例えば、各形式IDが登録済のものであってもよい。順序を含む集合はこれに限られず、任意の定義でよい。また、本実施形態における集合は、矢印によって順序を表すが、これに限られず、任意の文字列、数値又は図形で順序を表してよい。
 未処理のログ件数は、システムの各構成要素が処理を完了していない件数を表す。ログ集計部250は、第1の実施形態におけるログ集計部150と同様の処理を行い、集計ID及び該集計IDに対応する構成要素ごとにログ件数(以降、「処理件数」とも記載)を算出する。ログ集計部250は、同一集合IDにおける構成要素順の各ログ件数の差分から、該各構成要素が処理を実行していないことを表す未処理ログ件数(以降、「未処理件数」とも記載)を算出する。ログ集計部250は、ログ件数及び未処理ログ件数を含む集計結果を情報出力部260に送る。
 情報出力部260は、接続情報20に基づき、ログ集計部150から送られた集計結果と該集計結果に対応する接続情報20を出力する。なお、本実施形態において、情報出力部260は、集計結果と該集計結果に対応する接続情報を出力する場合を例として説明しているが、接続情報を出力せずに集計結果を出力してもよい。
 情報出力部260が出力する出力結果を、図13を用いて説明する。図13は、第2の実施形態における集計結果及び接続情報の表示画面の例を示す図である。図13が示す画面Bには、ログ集計部250から送られた集計結果B1と該集計結果B1に対応する接続情報を示す構成表示B2が表示される。
 図13が示す集計結果B1は、例えば、「集合ID」、「構成要素」、「処理件数」及び「未処理件数」が対応付けられた表が表示される。該集計結果B1が表示する集計結果の一例は、「集合ID」が「1」、「構成要素」が「SV001」、「処理件数」が「50」、及び、「未処理件数」が「0」、である。
 図13が示す構成表示B2は、例えば、接続情報取得部140により取得された接続情報20に基づいて、各構成要素及びそれらの間の関係を示す図である。具体的には、構成表示B2は、各構成要素を示す記号(ここでは丸)と、構成要素間を接続する線とで示され、「Server001」と「Server002」が接続されていること示す。構成要素を示す記号の近傍には、該構成要素を示す文字列(構成要素名)が表示される。また、構成表示B2上には、同一の集合IDにおける処理件数と未処理件数とが棒グラフで示されている。図13が示す構成表示B2における該棒グラフは、斜線箇所が未処理件数を表している。これにより、ユーザはシステムから出力されたログに基づき複数のサーバにまたがる一連の処理の進行状況を容易に知ることができる。
 未処理件数の多い構成要素等の滞留箇所を強調するために、滞留箇所を示す記号又は文字列の種類、色、大きさ等を変化させてもよい。あるいは、滞留箇所を点滅させてもよい。集計結果B1と構成表示B2との関係を明示にするために、集計結果B1中の集合IDにおける構成要素や未処理件数の文字列及び数値の色と、構成表示B2中の滞留箇所の文字列の色とを同一にしてもよい。
 本実施形態に係るログ分析システム200は、分析対象ログ10中の各ログを形式ごとに判定し、該形式ごとの各ログを集合記憶部272に記録されている複数の形式の順序を含む集合ごとに判定し、該形式ごとかつ集合ごとに判定された各ログの出力元であるシステムの接続情報を取得する。ログ分析システム200は、該形式ごとかつ集合ごとの各ログを集計し、接続情報20に基づいて集計結果及び該集計結果に対応する接続情報を出力する。
 ログ分析システム200は、分析対象ログ10を分析することにより、該分析対象ログ10を出力するシステムの各構成要素間における一連の処理の結果を表示できる。これにより、システムから出力されたログに基づき複数のサーバにまたがる一連の処理の進行状況をユーザに提示できる。また、ログ分析システム200は、棒グラフを含む構成情報を出力することにより、システムから出力されたログに基づき複数のサーバにまたがる一連の処理の進行状況をユーザに提示できる。
 <第2の実施形態の変形例>
 次に、第2の実施形態に係るログ分析システム200の変形例について説明する。以下の変形例の説明では、第2の実施形態のログ分析システム200と同様の構成については説明を省略し、相違する点について詳しく説明する。
 ログ分析システム200の変形例は、分析対象ログ10、及び、接続情報20の他に、外部の監視システムからエラー情報を取得し、該エラー情報を、取得された集計結果と該集計結果に対応する接続情報20とともに出力する。エラー情報は、例えば、異常な構成要素と該構成要素に対するメッセージ(以降、「エラーメッセージ」とも記載)を含む。エラー情報の一例は、「構成要素」が「SV004」、「エラーメッセージ」が「Diskエラーが発生しました」である。
 外部の監視システムは、分析対象ログ10の出力元である各構成要素により構成されるシステムを監視対象として監視し、該監視対象の異常を検出した場合、本変形例のログ分析システム200にエラー情報を送る。本変形例の入力部110は、エラー情報を取得し、取得したエラー情報をログ集計部250に送る。
 本変形例のログ集計部250は、集合判定部130により判定された順序を含む集合ごとの各ログと、接続情報取得部140により取得された接続情報20と、エラー情報を用いて、集合及びエラー情報ごとのログを集計する。具体的には、ログ集計部250は、集合IDと該集合IDに対応する構成要素ごとに、集合ごとのログ件数及び未処理のログ件数を算出する。ログ集計部250は、集合IDに対応する各構成要素内に、エラー情報に含まれる構成要素がある場合、該構成要素とエラー情報に含まれるエラーメッセージを対応付け、ログ集計部250が算出した結果(算出結果と示す場合もある)および該エラーメッセージを情報出力部260に送る。
 本変形例の情報出力部260は、接続情報20に基づき、算出結果と該集計結果に対応する接続情報20と対応付けられたエラーメッセージとを出力する。ここで、図13が示す集計結果B1を用いて本変形例の情報出力部260が出力する出力結果を説明する。本変形例における出力結果は、例えば、「集合ID」、「構成要素」、「処理件数」、「未処理件数」、及び、「エラーメッセージ」が対応付けられた表を表示する。例えば、本変形例における集計結果の一例は、「集合ID」が「1」、「構成要素」が「SV004」、「処理件数」が「10」、「未処理件数」が「40」、及び、「エラーメッセージ」が「Diskエラーが発生しました」である。
 本変形例のログ分析システム200は、分析対象ログ10中の各ログを形式ごとに判定し、該形式ごとの各ログを集合記憶部272に記録されている複数の形式の順序を含む集合ごとに判定し、該形式ごとかつ集合ごとに判定された各ログの出力元であるシステムの接続情報を取得する。本変形例のログ分析システム200は、外部の監視システムにより得られたエラー情報を取得する。本変形例のログ分析システム200は、該形式ごとかつ集合ごとの各ログを集計し、集合に対応する各構成要素とエラー情報とに基づいてエラーメッセージを対応付け、接続情報20に基づいて集計結果、エラーメッセージ及び該集計結果に対応する接続情報20を出力する。
 本変形例のログ分析システム200は、分析対象ログ10を分析することにより、該分析対象ログ10を出力するシステムの各構成要素間における一連の処理の結果を表示できる。これにより、システムから出力されたログに基づき複数のサーバにまたがる一連の処理の進行状況をユーザに提示できる。また、本変形例のログ分析システム200は、取得されたエラー情報に含まれるエラーメッセージを構成要素に対応付けて出力することにより、複数のサーバにまたがる一連の処理の進行状況で滞留などの問題が発生している場合、該問題の原因に関する情報をユーザに提示できる。
 なお、本変形例のログ集計部250は、エラー情報に対応する構成要素の未処理件数が所定の閾値を超過した場合、エラーメッセージを情報出力部260に入力してもよい。
 なお、本変形例において、ログ分析システム200は入力部110がエラー情報を取得する場合を例として説明しているが、接続情報取得部140がエラー情報を取得してもよい。さらに、本変形例の入力部110は、例えば、一定の間隔など所定のルールに従い、外部の監視システムからエラー情報を含む監視情報を取得してもよい。また、本変形例の入力部110は、外部の監視システムから本システムに対して適宜アラートが送信された場合、監視情報を取得してもよい。
 なお、本変形例の情報出力部260は、エラーメッセージを接続情報20と対応付けて出力してもよい。例えば、図13が示す構成表示B2上の構成要素に対して、ポップアップなどの表示形式でエラーメッセージが表示されてもよい。これにより、ユーザは複数のサーバにまたがる一連の処理の進行状況で滞留などの問題が発生している場合、該問題の具体的な異常内容を容易に知ることができる。
 <第3の実施形態>
 以下、第3の実施形態について、図面を参照して詳細に説明する。
 本実施形態では各構成要素の処理における負荷の分散を指示する情報を示す推薦情報を生成するための推薦情報推薦部と、構成要素の類似性を示す情報(以降、「構成要素分類情報」とも記載)が予め記録されている構成分類記憶部373とを備える。
 図14は、本実施形態に係るログ分析システム300のブロック図である。本実施形態におけるログ分析システム300は、処理部として、入力部110、形式判定部120、集合判定部130、接続情報取得部140、ログ集計部150、推薦情報生成部380及び情報出力部260を備える。また、ログ分析システム300は、記憶部として、形式記憶部171、集合記憶部172及び構成分類記憶部373を備える。本実施形態に係るログ分析システム300は、図1の構成に加えて、推薦情報生成部380と構成分類記憶部373とを備える。
 推薦情報生成部380は、構成分類記憶部373が記憶する構成要素分類情報、接続情報取得部140により入力される接続情報、及び、ログ集計部150により入力される集計結果に基づき、推薦情報を生成する。具体的には、推薦情報生成部380は、接続情報と集計結果により処理が滞留している構成要素を示す滞留構成要素を選定し、該滞留構成要素と構成要素分類情報とにより類似の構成要素を示す代替構成要素を抽出する。推薦情報生成部380は、抽出した代替構成要素と滞留構成要素の一つ前の処理を行う前段構成要素とが接続されているかを、接続情報に基づき判断する。推薦情報生成部380は、代替構成要素と前段構成要素が接続関係である場合、当該代替構成要素を滞留構成要素の負荷分散先として示す推薦情報を生成し、該推薦情報を情報出力部260に入力する。
 構成要素分類情報は、例えば、複数の構成要素での処理や構成などが類似していることを表す。例えば、構成要素分類情報の一例は、構成要素SV004の処理(例えば、処理A)と構成要素SV005の処理(処理B)が類似しているため、「構成要素SV004」における代替構成要素が「構成要素SV005」である。また、構成要素分類情報は、構成要素に類似する代替構成要素が複数含まれていてもよい。
 図15は、第3の実施形態における推薦情報及び接続情報20の表示画面の例を示す図である。図15が示す画面Cは、推薦情報生成部380により生成された推薦情報C1と、ログ集計部150から入力された集計結果に対応する接続情報を示す構成表示C2を表示する。
 図15が示す推薦情報C1は、例えば、滞留構成要素SV005から代替構成要素SV004へ処理を分散させるように、前段構成要素SV003からSV004へ指示するための図形(矢印)である。図15が示す推薦情報C1は、矢印で表わされているが、これに限られず、任意の文字列、数値、図形で表されてよい。
 図15が示す構成表示C2は、例えば、接続情報取得部140により取得された接続情報20に基づいて、各構成要素及びそれらの間の関係を示す図である。具体的には、構成表示C2は、各構成要素を示す記号(ここでは丸)と、構成要素間を接続する線とで示され、例えば、「Server001」と「Server002」が接続されていることを表している。構成要素を示す記号の近傍には、該構成要素を示す文字列(構成要素名)が表示される。また、構成表示C2上には、滞留構成要素を示す滞留箇所C3が二重丸で強調される。これにより、ユーザは滞留のある構成要素を容易に知ることができる。
 また、推薦情報C1を強調するために、推薦情報C1を示す記号又は文字列の種類、色、大きさ等を変化させてもよい。あるいは、推薦情報C1を点滅させてもよい。推薦情報C1と構成表示C2中の滞留箇所C3との関係を明示にするために、推薦情報C1の記号又は文字列の種類、色と、構成表示C2中の滞留箇所C3の記号又は文字列の種類、色を同一にしてもよい。これにより、ユーザは複数種類ある滞留と該滞留を解消するための推薦情報との中で、滞留とその推薦情報が対応付けられていることを容易に知ることができる。
 本実施形態に係るログ分析システム300は、分析対象ログ10中の各ログを形式ごとに判定し、該形式ごとの各ログを形式記憶部171に記録されている複数の形式を含む集合ごとに判定し、該形式ごとかつ集合ごとに判定された各ログの出力元であるシステムの接続情報を取得する。ログ分析システム300は、該形式ごとかつ集合ごとの各ログ集合ログを集計し、該集計結果と構成分類記憶部373に記録されている構成要素分類情報に基づいて推薦情報を生成し、該推薦情報と該推薦情報に対応する接続情報を出力する。
 ログ分析システム300は、分析対象ログ10を分析することにより、該分析対象ログ10を出力するシステムの各構成要素間における一連の処理の結果を表示できる。これにより、システムから出力されたログに基づき複数のサーバにまたがる一連の処理の進行状況をユーザに提示できる。また、ログ分析システム300は、推薦情報と接続情報を出力することにより、システムから出力されたログに基づき複数のサーバにまたがる一連の処理で発生する処理の滞留に対して、他の構成要素へ処理を変更するようにユーザへ提示できる。
 なお、推薦情報生成部380は、人やシステムによる外部からの入力、又は、分析対象ログ10を監視する監視システムからのアラート等による異常の通知を受けつけた場合に、推薦情報を生成してもよい。これにより、ログ分析システム300は、常に推薦情報生成部380が処理を実行しなくてよく、当該システムの負荷が軽減できる。
 なお、推薦情報生成部380は、構成要素の稼働中のシステムの処理状態である稼働状態に基づき、推薦情報を生成してもよい。稼働状態は、例えば、CPU使用率、物理メモリ使用率、プロセス情報、パケット数又は死活監視の情報である。この場合、推薦情報生成部380は、滞留構成要素及び複数の代替構成要素の稼働状態を比較し、稼働状態の良い(処理負荷が低い)代替構成要素を選定し、該代替構成要素に対する推薦情報を生成する。これにより、推薦情報生成部380は、稼働状態の良い代替構成要素への推薦情報を生成できる。なお、稼働状態は、構成分類記憶部373に予め記憶されていてもよいし、接続情報20に含まれていてもよい。
 なお、推薦情報生成部380は、接続情報と集計結果に基づき、構成要素分類情報を生成してもよい。この場合、推薦情報生成部380は、接続情報と集計結果と用いて、構成要素の類似性を判定し、該判定結果から構成要素分類情報を生成する。
 <第4の実施形態>
 以下、第4の実施形態について、図面を参照して詳細に説明する。
 本実施形態では形式、モデル及び状態を学習するための学習部を備える。図16は、第4の実施形態に係るログ分析システム400のブロック図である。ログ分析システム400は、図1の構成に加えて、形式学習部491及び集合学習部492を備える。
 形式学習部491は、形式判定部120が形式の判定を行う際、判定対象のログが形式記憶部171に記録されているいずれの形式にも適合しない場合に、新たな形式を作成して形式記憶部171に記録する。
 形式学習部491が形式を学習するための第1の方法として、形式学習部491は、形式が未知である複数のログを蓄積し、それらに対して統計的に変化する変数部分と変化しない定数部分を分離することによって、新たな形式として定義することができる。形式学習部491が形式を学習するための第2の方法として、形式学習部491は、既知の変数値のリストを読み込み、形式が未知であるログの中で既知の変数値と一致する又は類似する部分を変数部分と判定し、それ以外の部分を定数部分と判定することによって、新たな形式を定義することができる。既知の変数値として、値そのものを用いてよく、あるいは正規表現のようなパターンを用いてよい。形式の学習方法はこれらに限られず、入力されたログに対して新たな形式を定義することが可能な任意の学習アルゴリズムを用いてよい。
 集合学習部492は、集合判定部130が集合の判定を行う際、判定対象のログが集合記憶部172に記録されているいずれの集合にも適合しない場合に、新たな集合を作成して集合記憶部172に記録する。
 通常、集合判定部130は集合記憶部172に予め記録されているいずれの集合にも適合しないログを対象外ログと判定するが、集合が未知であるログであっても対象ログである場合がある。この場合に、ユーザは入力装置を介して集合記憶部172の集合に適合しないログが対象ログであるという指示を入力すると、集合学習部492は当該ログの形式及び接続情報に基づいて新たな集合を作成し、集合記憶部172に記録する。集合の学習方法はこれに限られず、入力されたログから新たに集合を定義することが可能な任意の学習アルゴリズムを用いてよい。
 本実施形態に係るログ分析システム400は、形式及び集合を学習するための学習部を備えるため、未知の形式又は集合のログから新たに形式又は集合を生成し、記録することができる。
 <その他の実施形態>
 図17は、上述の第1-第4の実施形態に係るログ分析システム概略構成を示すブロック図である。図17には、ログ分析システム500が分析対象ログ10を出力した各構成要素にまたがる一連の処理の進行状況に関する情報の出力を行う装置として機能するための構成例が示されている。ログ分析システム500は、予め定められる複数の形式のうち、システムの構成要素から出力される複数のログがいずれの形式であるかを判定する形式判定部120と、複数の形式の集合のうち、判定された形式ごとの複数のログがいずれの集合であるかを判定する集合判定部130と、判定された集合ごとの複数のログを出力した構成要素の関係性を示す接続情報を取得する接続情報取得部140と、集合ごとの複数のログを構成要素ごとに集計するログ集計部550と、接続情報に基づき、構成要素ごとに集計結果を出力する情報出力部560、を備える。なお、ログ集計部550は、ログ集計部150又はログ集計部250の機能と同様であり、情報出力部560は、情報出力部160又は情報出力部260の機能と同様である。
 本発明は、上述の実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲において適宜変更可能である。
 上述の実施形態の機能を実現するように該実施形態の構成を動作させるプログラム(より具体的には、図3に示す処理をコンピュータに実行させるプログラム)を記録媒体に記録させ、該記録媒体に記録されたプログラムをコードとして読み出し、コンピュータにおいて実行する処理方法も各実施形態の範疇に含まれる。すなわち、コンピュータ読取可能な記録媒体も各実施形態の範囲に含まれる。また、上述のプログラムが記録された記録媒体はもちろん、そのプログラム自体も各実施形態に含まれる。
 該記録媒体としては例えばフロッピー(登録商標)ディスク、ハードディスク、光ディスク、光磁気ディスク、CD-ROM、磁気テープ、不揮発性メモリカード、ROMを用いることができる。また該記録媒体に記録されたプログラム単体で処理を実行しているものに限らず、他のソフトウェア、拡張ボードの機能と共同して、OS(operating system)上で動作して処理を実行するものも各実施形態の範疇に含まれる。
 この出願は、2015年12月25日に出願された日本出願特願2015-254541を基礎とする優先権を主張し、その開示の全てをここに取り込む。
 10  分析対象ログ
 20  接続情報
 30  表示装置
 100、200、300、400、500  ログ分析システム
 101  CPU
 102  通信インターフェース
 103  記憶装置
 104  メモリ
 110  入力部
 120  形式判定部
 130  集合判定部
 140  接続情報取得部
 150、250、550  ログ集計部
 160、260、560  情報出力部
 171  形式記憶部
 172、272  集合記憶部
 373  構成分類記憶部
 380  推薦情報生成部
 491  形式学習部
 492  集合学習部

Claims (9)

  1.  予め定められる複数の形式のうち、システムの構成要素から出力される複数のログがいずれの形式であるかを判定する形式判定手段と、
     前記複数の形式の集合のうち、判定された前記形式ごとの複数のログがいずれの集合であるかを判定する集合判定手段と、
     判定された前記集合ごとの複数のログを出力した構成要素の関係性を示す接続情報を取得する接続情報取得手段と、
     前記集合ごとの複数のログを前記構成要素ごとに集計するログ集計手段と、
     前記接続情報に基づき、前記構成要素ごとに集計結果を出力する情報出力手段、
    を備えるログ分析システム。
  2.  前記集合は前記形式の順序を含み、
     前記情報出力手段は、前記形式の順序ごとの複数のログを前記構成要素ごとに出力する請求項1に記載のログ分析システム。
  3.  前記ログ集計手段は、前記集合ごとの複数のログに基づき前記集合の識別子及び該集合の識別子に対応する構成要素ごとのログの件数を算出し、
     前記情報出力手段は、前記集合の識別子と該集合の識別子に対応する構成要素と算出された前記ログの件数を出力する請求項1又は2に記載のログ分析システム。
  4.  前記ログ集計手段は、前記接続情報と前記ログの件数に基づき、前記集合の識別子に対応する構成要素ごとの未処理のログの件数を算出し、
     前記情報出力手段は、算出された前記未処理のログの件数を出力する請求項3に記載のログ分析システム。
  5.  集計された前記結果と前記接続情報とに基づき、推薦情報を生成する推薦情報生成手段をさらに備え、
     前記情報出力手段は、前記推薦情報を出力する請求項1乃至4のいずれか1項に記載のログ分析システム。
  6.  前記集合に合致しないと判定された前記複数のログに基づいて、前記集合を新たに生成する集合学習手段をさらに備える請求項1乃至5のいずれか1項に記載のログ分析システム。
  7.  前記情報出力手段は、集計された前記結果を表示装置に出力して表示させる請求項1乃至6のいずれか1項に記載のログ分析システム。
  8.  予め定められる複数の形式のうち、システムの構成要素から出力される複数のログがいずれの形式であるかを判定し、
     前記複数の形式の集合のうち、判定された前記形式ごとの複数のログがいずれの集合であるかを判定し、
     判定された前記集合ごとの複数のログを出力した構成要素の関係性を示す接続情報を取得し、
     前記集合ごとの複数のログを前記構成要素ごとに集計し、
     前記接続情報に基づき、前記構成要素ごとに集計結果を出力するログ分析方法。
  9.  コンピュータに、
     予め定められる複数の形式のうち、システムの構成要素から出力される複数のログがいずれの形式であるかを判定する処理と、
     前記複数の形式の集合のうち、判定された前記形式ごとの複数のログがいずれの集合であるかを判定する処理と、
     判定された前記集合ごとの複数のログを出力した構成要素の関係性を示す接続情報を取得する処理と、
     前記集合ごとの複数のログを前記構成要素ごとに集計する処理と、
     取得された前記接続情報に基づき、前記構成要素ごとに集計結果を出力する処理、を実行させるプログラムを格納する記録媒体。
PCT/JP2016/088330 2015-12-25 2016-12-22 ログ分析システム、ログ分析方法及びプログラムを格納する記録媒体 WO2017110996A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017558255A JP6798504B2 (ja) 2015-12-25 2016-12-22 ログ分析システム、ログ分析方法及びプログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015-254541 2015-12-25
JP2015254541 2015-12-25

Publications (1)

Publication Number Publication Date
WO2017110996A1 true WO2017110996A1 (ja) 2017-06-29

Family

ID=59090450

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/088330 WO2017110996A1 (ja) 2015-12-25 2016-12-22 ログ分析システム、ログ分析方法及びプログラムを格納する記録媒体

Country Status (2)

Country Link
JP (1) JP6798504B2 (ja)
WO (1) WO2017110996A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020012579A1 (ja) * 2018-07-11 2020-01-16 日本電気株式会社 ログ分析装置、ログ分析方法、プログラム
CN111026613A (zh) * 2019-12-11 2020-04-17 人教数字出版有限公司 日志处理方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011128969A (ja) * 2009-12-18 2011-06-30 Fujitsu Ltd 運用管理プログラム、運用管理装置および運用管理方法
JP2014153721A (ja) * 2013-02-04 2014-08-25 Nippon Telegr & Teleph Corp <Ntt> ログ可視化装置及び方法及びプログラム
JP2014178865A (ja) * 2013-03-14 2014-09-25 Nippon Telegr & Teleph Corp <Ntt> ボトルネック分析装置、ボトルネック分析方法、および、プログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011128969A (ja) * 2009-12-18 2011-06-30 Fujitsu Ltd 運用管理プログラム、運用管理装置および運用管理方法
JP2014153721A (ja) * 2013-02-04 2014-08-25 Nippon Telegr & Teleph Corp <Ntt> ログ可視化装置及び方法及びプログラム
JP2014178865A (ja) * 2013-03-14 2014-09-25 Nippon Telegr & Teleph Corp <Ntt> ボトルネック分析装置、ボトルネック分析方法、および、プログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
SHIKIDA ET AL: "MANAGEMENT OF SERVER LOG INFORMATION BASED ON DEPENDENCIES AMONG COMPONENTS OF LARGE-SCALE SERVER", TRANSACTIONS OF INFORMATION PROCESSING SOCIETY OF JAPAN, vol. 49, no. 3, 15 March 2008 (2008-03-15), pages 1081 - 1089, ISSN: 0387-5806 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020012579A1 (ja) * 2018-07-11 2020-01-16 日本電気株式会社 ログ分析装置、ログ分析方法、プログラム
JPWO2020012579A1 (ja) * 2018-07-11 2021-07-08 日本電気株式会社 ログ分析装置、ログ分析方法、プログラム
JP7078114B2 (ja) 2018-07-11 2022-05-31 日本電気株式会社 ログ分析装置、ログ分析方法、プログラム
CN111026613A (zh) * 2019-12-11 2020-04-17 人教数字出版有限公司 日志处理方法及装置
CN111026613B (zh) * 2019-12-11 2024-01-19 人教数字出版有限公司 日志处理方法及装置

Also Published As

Publication number Publication date
JP6798504B2 (ja) 2020-12-09
JPWO2017110996A1 (ja) 2018-10-11

Similar Documents

Publication Publication Date Title
US11657309B2 (en) Behavior analysis and visualization for a computer infrastructure
JP6708219B2 (ja) ログ分析システム、方法およびプログラム
WO2017104119A1 (ja) ログ分析システム、方法およびプログラム
JP6787340B2 (ja) ログ分析システム、ログ分析方法及びプログラム
JP6643211B2 (ja) 異常検知システム及び異常検知方法
WO2019223062A1 (zh) 系统异常的处理方法和系统
US20180357214A1 (en) Log analysis system, log analysis method, and storage medium
CN112380473B (zh) 数据采集与同步方法、装置、设备及存储介质
US10884892B2 (en) Non-transitory computer-readable storage medium, display control method and display control device for observing anomolies within data
WO2018122890A1 (ja) ログ分析方法、システムおよびプログラム
WO2020012579A1 (ja) ログ分析装置、ログ分析方法、プログラム
WO2017110996A1 (ja) ログ分析システム、ログ分析方法及びプログラムを格納する記録媒体
WO2018066661A1 (ja) ログ分析方法、システムおよび記録媒体
WO2017094263A1 (ja) ログ分析システム、方法およびプログラム
WO2017169949A1 (ja) ログ分析装置、ログ分析方法及びプログラムを格納する記録媒体
JP6515048B2 (ja) インシデント管理システム
US20200233734A1 (en) Wait-and-see candidate identification apparatus, wait-and-see candidate identification method, and computer readable medium
JP2005242988A (ja) ログ情報管理システム、サービス提供システム、ログ情報管理プログラムおよびサービス提供プログラム、並びにログ情報管理方法およびサービス提供方法
WO2018122889A1 (ja) 異常検出方法、システムおよびプログラム
US9229898B2 (en) Causation isolation using a configuration item metric identified based on event classification
JP2015185968A (ja) 障害メッセージ集約装置および障害メッセージ集約プログラム
WO2017085921A1 (ja) ログ分析システム、方法およびプログラム
JPWO2017081866A1 (ja) ログ分析システム、方法およびプログラム
JP2013041367A (ja) 運用管理装置、運用管理方法、及び運用管理プログラム
CN115437891A (zh) 一种告警邮件的生成方法及装置、存储介质、计算机设备

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16878883

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2017558255

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16878883

Country of ref document: EP

Kind code of ref document: A1