WO2016199433A1 - メッセージ分析装置、メッセージ分析方法、および、記憶媒体 - Google Patents

メッセージ分析装置、メッセージ分析方法、および、記憶媒体 Download PDF

Info

Publication number
WO2016199433A1
WO2016199433A1 PCT/JP2016/002816 JP2016002816W WO2016199433A1 WO 2016199433 A1 WO2016199433 A1 WO 2016199433A1 JP 2016002816 W JP2016002816 W JP 2016002816W WO 2016199433 A1 WO2016199433 A1 WO 2016199433A1
Authority
WO
WIPO (PCT)
Prior art keywords
message
cluster
field
messages
pattern
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2016/002816
Other languages
English (en)
French (fr)
Inventor
育大 網代
鳥山　慎一
藤田　和也
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
NEC Solution Innovators Ltd
Original Assignee
NEC Corp
NEC Solution Innovators Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp, NEC Solution Innovators Ltd filed Critical NEC Corp
Priority to JP2017523119A priority Critical patent/JP6856527B2/ja
Priority to US15/577,839 priority patent/US20180165174A1/en
Publication of WO2016199433A1 publication Critical patent/WO2016199433A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/3006—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system is distributed, e.g. networked systems, clusters, multiprocessor systems
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3065—Monitoring arrangements determined by the means or processing involved in reporting the monitored data
    • G06F11/3072—Monitoring arrangements determined by the means or processing involved in reporting the monitored data where the reporting involves data filtering, e.g. pattern matching, time or event triggered, adaptive or policy-based reporting
    • G06F11/3079—Monitoring arrangements determined by the means or processing involved in reporting the monitored data where the reporting involves data filtering, e.g. pattern matching, time or event triggered, adaptive or policy-based reporting the data filtering being achieved by reporting only the changes of the monitored data
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3438—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment monitoring of user actions
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3466—Performance evaluation by tracing or monitoring
    • G06F11/3476—Data logging
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/40—Business processes related to social networking or social networking services

Definitions

  • the present invention relates to a technique for analyzing a large number of messages.
  • logs are recorded as history of the operation status and usage status.
  • messages are input and recorded by many users. Analysts who analyze such a large number of messages are required to grasp the contents and trends of information contained in a large number of messages.
  • Patent Document 1 An example of a technique for analyzing a message is described in Patent Document 1.
  • the related technique described in Patent Document 1 extracts a common part that is common to other messages and a different part that is different from other messages, from messages included in the log.
  • identification information is given to the extracted common part and stored as common part information
  • identification information is given to the extracted different part and stored as different part information.
  • each message is stored in association with the identification information of the common part and the identification information of the different part.
  • the related technique described in Patent Document 1 requires the definition of variables constituting the different part in order to extract the common part and the different part.
  • a numeric string of one or more characters is defined as a variable representing a process ID.
  • a numeric string delimited by periods is defined as a variable representing an IP (Internet Protocol) address.
  • IP Internet Protocol
  • a part of the message that matches the definition of the variable is extracted as a different part, and the other part is extracted as a common part.
  • this related technique cannot extract a common part and a different part of a large number of messages unless variables are defined in advance, and cannot present it as information representing the contents and trends thereof.
  • an object of the present invention is to provide a technique for presenting information representing the contents and tendencies of a large number of messages without having to previously define a portion that varies between messages.
  • the message analysis apparatus of the present invention comprises a clustering means for classifying a message group, which is a set of messages composed of one or more fields, into clusters based on the similarity between the messages; For each field constituting the message group in the cluster, based on the variable part and the invariant part, field analysis means for identifying a variable part whose value is mutated and an invariant part that is not mutated, Pattern generation means for generating a message pattern common to a group of messages in the cluster.
  • the message analysis method of the present invention classifies a message group, which is a set of one or more fields, into a cluster based on the similarity between the messages using a computer device, For each field constituting the message group, a variable part whose value is mutated and an invariant part which is not mutated are identified, and based on the variable part and the invariant part, common to the message group in the cluster Generate a message pattern.
  • the storage medium of the present invention comprises a clustering step for classifying a message group, which is a set of messages composed of one or more fields, into a cluster based on the similarity between the messages, and a message group in the cluster.
  • Field analysis step for identifying a variable part whose value is mutated and an invariant part that is not mutated for each field, and common to the message group in the cluster based on the variable part and the invariant part
  • a message analysis program for causing a computer device to execute a pattern generation step for generating a message pattern to be stored is stored.
  • the present invention can provide a technique for presenting information representing the contents and trends of a large number of messages without the need to previously define a portion that varies between messages.
  • FIG. 1 shows a functional block configuration of a message analysis apparatus 1 as the first embodiment of the present invention.
  • the message analysis apparatus 1 includes a clustering unit 11, a field analysis unit 12, and a pattern generation unit 13.
  • the message analysis device 1 is a device that analyzes a message group and generates a message pattern indicating the content and tendency thereof.
  • a message refers to a unit of information recorded by a device, service, person, or the like.
  • the message may be a unit of information included in log data representing a history of operation status and usage status of devices and services.
  • the message may be information of a unit generated by a component of an IT (Information Technology) system such as a server or a client at a predetermined timing and added to log data.
  • IT Information Technology
  • the message often includes the time when the message was output, the name of the output source, and the like.
  • the message is often one line of text data included in a file representing log data. However, one message may extend over a plurality of lines. Alternatively, a plurality of messages may be included in one line.
  • a line feed code included in one message across multiple lines is converted to a blank character, or before a blank character between multiple messages included in one line is converted into a line feed code It may be assumed that processing or the like is performed. In this case, the message can be regarded as composed of one line of the file representing the log data.
  • the message is not limited to the information included in the log data, but may be a unit of information that is input to an arbitrary service via an input device or a network and recorded.
  • a message is composed of one or more fields.
  • the field may be information delimited by a separator, for example.
  • the message “April 1 13:31:52 logging start” consists of five fields “April”, “1”, “13:31:52”, “logging”, and “start” with a blank as a separator. Is done.
  • there are messages that are not separated by a separator such as a blank, such as messages composed in Japanese.
  • Such a message can be considered to be composed of one or more fields by preprocessing that is separated by character types such as words, morphemes, katakana, hiragana, and kanji.
  • the premise that the message in this embodiment is composed of one or more fields does not limit the types of messages that can be processed in this embodiment. Any type of message can be processed as being composed of one or more fields by pre-processing as necessary.
  • a process of dividing one field into a plurality of fields can be considered.
  • the value of a certain field is “abc & def” in a certain message and “abc & ghi” in another message.
  • abc, def, and ghi are defined to represent individual objects with respect to the content of the message.
  • “abc & def” is suitable for processing as three fields such as “abc”, “&” and “def” instead of one field. Such processing may be included in the preprocessing for the message.
  • a set of messages composed of one or more fields subjected to the above-described preprocessing as necessary is input to the message analysis apparatus 1.
  • the target message group may be stored in advance in the storage device as information representing the value of the field (character string, numerical value, symbol, etc.) in a table format for each message.
  • the message analysis apparatus 1 includes a CPU (Central Processing Unit) 1001, a memory 1002, an output device 1003, and an input device 1004.
  • the memory 1002 includes a RAM (Random Access Memory), a ROM (Read Only Memory), an auxiliary storage device (such as a hard disk), and the like.
  • the output device 1003 is configured by a device that outputs information, such as a display device or a printer.
  • the input device 1004 is configured by a device that receives an input of a user operation, such as a keyboard or a mouse.
  • each functional block of the message analysis device 1 is configured by a CPU 1001 that reads and executes a computer program stored in the memory 1002 and controls each unit of the output device 1003 and the input device 1004.
  • the hardware configuration of the message analysis device 1 and each functional block thereof is not limited to the above-described configuration.
  • the clustering unit 11 classifies the target message group into clusters based on the similarity between messages.
  • the number of clusters is less than the number of messages.
  • the target message group is a set of messages including one or more fields that have been preprocessed as necessary, as described above.
  • the clustering unit 11 may acquire target message groups stored in advance in the memory 1002 and classify them into clusters.
  • a known technique can be adopted as a method of classifying a plurality of pieces of information based on the similarity between them.
  • the field analysis unit 12 identifies, for each field constituting the message group in the cluster, a variable part whose value is mutated and an invariant part that is not mutated. Specifically, the field analysis unit 12 may identify a field having the same value as an invariant part over all messages in the cluster. Further, the field analysis unit 12 may identify a field having a different value as a variable part in at least one of all messages in the cluster.
  • the pattern generation unit 13 generates a message pattern common to the message group in the cluster based on the variable part and the invariant part of the field. For example, the pattern generation unit 13 arranges information in which the variable part field is represented by a predetermined symbol (for example, an asterisk “*”) and information in which the constant part field is represented by the value in the order of appearance of the field. Information may be generated as a common pattern. Then, the pattern generation unit 13 extracts a list of values taken by the field of the variable part in the message group included in the cluster. Hereinafter, a field identified as a variable part is called a variable, and a value that the variable can take is called an argument. Then, the pattern generation unit 13 may generate a common pattern and a list of arguments for each variable as a message pattern for each cluster.
  • a predetermined symbol for example, an asterisk “*”
  • the constant part field is represented by the value in the order of appearance of the field. Information may be generated as a common pattern.
  • the pattern generation unit 13
  • the clustering unit 11 classifies the target message group into clusters based on the similarity between messages (step S1).
  • the field analysis unit 12 includes a variable part whose value is mutated and an invariant part that is not mutated among the fields constituting the message group in the cluster. Is identified (step S2).
  • the pattern generation unit 13 generates, for each cluster, a message pattern common to the message group in the cluster based on the variable part and the invariant part (step S3).
  • the pattern generation unit 13 may generate a list of common patterns and variable arguments as message patterns.
  • the message analysis device 1 finishes the operation.
  • the message analysis apparatus can present information representing the contents and trends of a large number of messages without having to previously define a portion that varies between messages.
  • the clustering unit classifies the message group into clusters based on the similarity between messages. Then, the field analysis unit identifies, for each field constituting the message group in the cluster, a variable part whose value is mutated and an invariant part that is not mutated. This is because the pattern generation unit generates a message pattern common to the message group in the cluster based on the variable part and the invariant part of the field.
  • the present embodiment it is possible to extract a mutated part and an invariant part without requiring definition of a mutated part in the message group.
  • the present embodiment can present a similar message group to the user so that the invariable part and the part that mutates between them can be recognized without any prior variable definition.
  • a user who uses this embodiment can more easily grasp the contents and trends of a large number of message groups.
  • FIG. 4 shows a functional block configuration of the message analyzer 2 as the second embodiment of the present invention.
  • the message analysis device 2 is different from the message analysis device 1 as the first embodiment of the present invention in the following points. That is, the message analysis device 2 includes a clustering unit 21 instead of the clustering unit 11, a field analysis unit 22 instead of the field analysis unit 12, and a pattern generation unit 23 instead of the pattern generation unit 13, and further includes a cluster A similarity determination unit 24 is provided.
  • the message analysis device 2 and each functional block thereof can be configured by the same hardware elements as those of the first embodiment of the present invention described with reference to FIG. However, the hardware configuration of the message analysis device 2 and each functional block is not limited to the above-described configuration.
  • the clustering unit 21 classifies a message and other messages whose similarity satisfies a predetermined condition with respect to the message into the same cluster.
  • the clustering unit 21 classifies the message group into clusters by regarding a part that matches a predetermined field pattern in each message as a field similar to each other between the messages.
  • the predetermined field pattern is a pattern of values that can be taken by a portion that can be regarded as a similar field even if the values are different.
  • Such a field pattern may be defined in advance. For example, date, date and time can be regarded as similar fields even if the values are different. Therefore, the clustering unit 21 may store a field pattern that matches the date format or the date / time format in advance. Then, when calculating the above-described similarity and distance, the clustering unit 21 may calculate the portions that match these field patterns as matching fields even if the values are different.
  • the cluster similarity determination unit 24 determines, for each cluster, whether the similarity of the entire message group in the cluster satisfies a predetermined condition. Henceforth, the similarity of the whole message group in a cluster is only described as the whole similarity.
  • the cluster similarity determination unit 24 may use, as the overall similarity, the ratio of the fields constituting the invariant portion among the fields constituting the message group in the cluster.
  • the predetermined condition may be that a value representing the overall similarity is equal to or greater than a threshold value.
  • the threshold value of the value indicating the overall similarity may be the same value as the threshold value of similarity used by the clustering unit 21 to determine the similarity between two messages.
  • the cluster similarity determination unit 24 uses a value obtained by dividing the number of fields constituting the invariant portion in the cluster by the maximum number of fields in the message in the cluster as a value representing the overall similarity. It may be calculated. In this case, the cluster similarity determination unit 24 determines whether or not the value representing the overall similarity is equal to or greater than a threshold value.
  • the cluster similarity determination unit 24 is a functional block provided for excluding clusters that are not appropriate as message pattern generation targets.
  • the pattern generation unit 23 may perform processing.
  • the clustering unit 21 may change the similarity threshold and perform the clustering process again.
  • the threshold value changing method may be determined according to the usage of the message pattern, the message amount, the number of types of message patterns, and the like.
  • the pattern generation unit 23 generates a message pattern for the cluster for which the overall similarity is determined to satisfy the predetermined condition by the cluster similarity determination unit 24 in the same manner as the pattern generation unit 13 in the first embodiment of the present invention. To do.
  • the clustering unit 21 acquires a threshold value for clustering the message group (step S21).
  • the clustering unit 21 may acquire a threshold value via the input device 1004.
  • the clustering unit 21 classifies a certain message in the target message group and other messages whose similarity is equal to or higher than the threshold or whose distance is equal to or lower than the threshold to the same cluster (step) S22).
  • the clustering unit 21 extracts one message from the set of messages, and calculates the similarity (or distance) between this message and each of the other messages. Then, the clustering unit 21 may form one cluster by using the extracted message and each message for which a similarity (or a distance equal to or less than the threshold) is calculated for the message.
  • the clustering unit 21 performs the same processing on the remaining messages that have not yet been classified to form another cluster. Then, the message analysis device 2 performs the processing of steps S23 to S27 for each cluster.
  • the message analysis device 2 may first classify all messages into any cluster and then repeat the processing of steps S23 to S27 for each cluster. Alternatively, the message analysis device 2 may repeatedly execute the processes of steps S23 to S27 for each cluster each time one cluster is formed.
  • the field analysis unit 22 identifies, as invariant parts, a field whose value matches across all messages in the cluster and a field that matches the field pattern. Further, the field analysis unit 22 identifies a field having a different value in at least one message as a variable part (step S23).
  • the cluster similarity determination unit 24 determines whether or not the overall similarity in this cluster satisfies a predetermined condition (step S24).
  • the cluster similarity determination unit 24 may calculate a value obtained by dividing the number of fields constituting the invariant portion in the cluster by the maximum number of fields as a value representing the overall similarity in the cluster. . Then, the cluster similarity determination unit 24 may determine whether or not the value representing the overall similarity in this cluster exceeds a threshold value.
  • the message analysis device 2 If it is determined that the similarity of the entire cluster does not satisfy the predetermined condition, the message analysis device 2 outputs a message indicating that the message pattern generation has failed for the cluster and ends the process.
  • the pattern generation unit 23 when it is determined that the similarity of the entire cluster satisfies the predetermined condition, the pattern generation unit 23 generates a common pattern of the cluster (step S25).
  • the pattern generation unit 23 displays information in which information representing the field of the variable part with a predetermined symbol (for example, an asterisk “*”) and information representing the field of the invariant part are arranged in the order of appearance of the field. Generate as a common pattern.
  • the pattern generation unit 23 may generate a common pattern using a predetermined character string instead of the value of the field that matches the field pattern in the invariant portion. For example, the pattern generation unit 23 may generate a common pattern by expressing a field matching the date field pattern as “(Date)” and a field matching the time field pattern as “(Time)”. Good.
  • the pattern generation unit 23 generates a list of arguments for the field of the variable part in the common pattern (step S26).
  • the pattern generation unit 23 outputs the common pattern and the argument list of each variable part as a message pattern of this cluster (step S27).
  • the output destination may be the output device 1003, the memory 1002, or another device connected via a network.
  • the message analysis device 2 uses the above-described similarity in determining similarity between messages.
  • the clustering unit 21 acquires 0.6 as a similarity threshold (step S21).
  • the clustering unit 21 forms a cluster A and a cluster B shown in FIG. 6 by calculating the similarity between a certain message in the target log message group and each other message with respect to the message ( Step S22).
  • each line represents one message.
  • a dotted ellipse indicates a field.
  • a field pattern representing a date and time is defined.
  • the clustering unit 21 regards a portion that matches the date field pattern as a date field, and considers that the messages match each other. Further, the clustering unit 21 regards a portion that matches the time field pattern as a time field, and considers that the messages match each other. In this case, in cluster A, seven of the nine fields match the message of the second line with respect to the message of the first line. Therefore, the clustering unit 21 calculates 7 / 9 ⁇ 0.77 as the similarity between the messages in the first and second rows. As described above, the clustering unit 21 classifies the message on the first line and the messages on the second to fourth lines having a similarity of 0.6 or more with respect to the message on the first line as the cluster A. . The same applies to cluster B.
  • the message analyzer 2 performs the processing of steps S23 to S27 for the cluster A.
  • the field analysis unit 22 identifies the invariant part field and the variable part field for the cluster A, and generates the identification processing result shown in FIG. 7 (step S23).
  • the field analysis unit 22 creates a table for storing the identification processing result.
  • the table storing the identification processing result includes the ID assigned to the field in the first column (leftmost column). This table also includes message identification information in the first line (uppermost line). Further, in this table, the analysis result of each message can be stored in each column after the second column.
  • the field analysis unit 22 performs identification processing using one of the messages included in the cluster A (Msg 1134 as an example) as a representative message.
  • the field analysis unit 22 stores the value of each field constituting the representative message Msg 1134 in the second column of the table of FIG.
  • the field analysis unit 22 stores information “(Date)” representing a date instead of a value for a date field that matches the date field pattern.
  • the field analysis unit 22 stores information “(Time)” representing time instead of a value for a time field that matches the time field pattern.
  • the field analysis unit 22 stores the value in the third column for a field having a value different from the representative message among the values of each field constituting the next message Msg 1211 included in the cluster A. However, the field analysis unit 22 does not store values for the date field and the time field on the assumption that the value matches the representative message. Similarly, the field analysis unit 22 stores the values of the remaining messages Msg2091 and Msg4625 of the cluster A in the fourth and fifth columns for the fields having different values from the representative message. In this way, the field analysis unit 22 performs processing for storing values in the table for all messages of the cluster A, and generates the table in FIG.
  • the field analysis unit 22 converts the four fields (field IDs 3, 7, 9, 10) whose values are stored in at least one column after the third column in the table of FIG. Identify as part.
  • the field analysis unit 22 uses six fields (field IDs 1, 2, 4, 5, 6, and 8) in which values are not stored in the third and subsequent columns of the table of FIG. Identify.
  • the cluster similarity determination unit 24 determines whether or not the value indicating the overall similarity in the cluster A is equal to or greater than a threshold value (step S24).
  • the cluster similarity determination unit 24 determines that the value representing the overall similarity in the cluster A is equal to or greater than the threshold value.
  • the pattern generation unit 23 expresses the field IDs 1, 2, 4, 5, 6, and 8 of the invariant portion with information representing the value or field pattern. Further, the pattern generation unit 23 represents the field IDs 3, 7, 9, and 10 of the variable part with a predetermined symbol “*”. Then, the pattern generation unit 23 arranges these pieces of information in the order of the field IDs, and generates a common pattern “(Date) (Time) * process abc [*] * *” of the cluster A (Step S25).
  • the pattern generation unit 23 generates a list of arguments for the field IDs 3, 7, 9, and 10 of the variable portion in the common pattern of the cluster A (step S26).
  • the pattern generation unit 23 refers to the field ID3 row in the table of FIG. 7 to generate the argument list “host01, host02, host03” of the field ID3. Similarly, the pattern generation unit 23 generates a list of arguments by referring to the rows of field IDs 7, 9, and 10 in the table of FIG.
  • the pattern generation unit 23 outputs the common pattern of cluster A and the argument list of each variable part as a message pattern (step S27).
  • the message analysis apparatus 2 also executes steps S23 to S27 for the cluster B.
  • the message analysis apparatus as the second exemplary embodiment of the present invention can present a large number of messages as a set of a smaller number of message patterns, and allows the user to grasp the contents and trends of messages more quickly. Can help.
  • the clustering unit performs clustering by regarding a portion matching a predetermined field pattern in the message as a similar field.
  • the field analysis unit regards a part that matches a predetermined field pattern as an invariant part and generates a common message.
  • minor differences among a plurality of messages can be regarded as similar, and a smaller number of common message patterns are generated compared to the case where minor differences are regarded as variable parts. can do.
  • the cluster similarity determination unit determines whether or not the overall similarity in the cluster satisfies a predetermined condition. This is because the pattern generation unit generates a message pattern for a cluster whose overall similarity satisfies a predetermined condition.
  • the present embodiment since the present embodiment generates a message pattern for a cluster whose overall similarity is appropriate, it is possible to present a message pattern that more accurately reflects the content and trend of the message group.
  • FIG. 8 shows a functional block configuration of a message analysis device 3 as a third embodiment of the present invention.
  • the message analysis device 3 is different from the message analysis device 2 as the second exemplary embodiment of the present invention in that it further includes a cluster subdivision unit 35.
  • the message analysis device 3 and each functional block thereof can be configured by the same hardware elements as those of the first embodiment of the present invention described with reference to FIG.
  • the hardware configuration of the message analysis device 3 and each functional block is not limited to the above-described configuration.
  • the cluster subdividing unit 35 generates a cluster obtained by further dividing the message group in the cluster generated by the clustering unit 21 based on the importance of the variable portion. At this time, the cluster subdivision unit 35 determines the importance of the variable part based on the part of speech of the value of the field constituting the variable part. Specifically, when the value of the field constituting the variable part is a predetermined part of speech as a character string, the cluster subdivision unit 35 determines that the field is important and determines the cluster based on the difference in the value. Subdivide.
  • the cluster subdividing unit 35 specifies a field whose value is mutated in at least one message in the cluster. Then, the cluster subdivision unit 35 determines the importance of the field based on whether or not the part of speech as the character string of the value taken by the specified field is a predetermined part of speech. Note that the cluster subdivision unit 35 may determine the part of speech for the identified field based on the value in any message (for example, a representative message) in the cluster. The cluster subdivision unit 35 may determine the part of speech using a dictionary that stores the part of speech of the character string (word). Such a dictionary may be stored in advance in the memory 1002, for example. As the predetermined part of speech, for example, a verb, an adverb, an adjective and the like are determined.
  • the fields determined to be important are identified as invariant parts in the cluster after the division.
  • the message analyzer 3 operates in the same manner as in the second embodiment of the present invention from step S21 to S24, analyzes the field for the formed cluster, and whether or not the overall similarity satisfies a predetermined condition. Determine whether.
  • the cluster subdivision unit 35 further subdivides the clusters for which the overall similarity is determined to satisfy the predetermined condition based on the part of speech of the field value of the variable part (step S35).
  • the cluster subdivision unit 35 determines that the field is important when the value of the field constituting the variable portion is a character string and has a predetermined part of speech. Then, the cluster subdividing unit 35 subdivides the cluster based on the difference in the field values.
  • the pattern generation unit 23 executes steps S25 to S27 for each of the subdivided clusters and the non-subdivided clusters, as in the second embodiment of the present invention.
  • the pattern generation unit 23 includes the value of the field that is a reference for subdivision as an invariant part in the common pattern. Thereby, the pattern generation unit 23 generates and outputs a list of arguments of the common pattern and its variable part as a message pattern for each cluster subdivided as necessary.
  • the cluster subdivision unit 35 subdivides the cluster (step S35).
  • the cluster subdivision unit 35 first sets the value “started” of the field ID 9 in the representative message Msg 1134 among the field IDs 3, 7, 9, and 10 which are variable parts in FIG. 7 to a predetermined part of speech (verb). It is determined that That is, the cluster subdivision unit 35 determines that the field ID 9 is an important field to be mutated.
  • the cluster subdivision unit 35 determines that the value “host03” of the field ID3 and the value “3571” of the field ID7 in the representative message Msg1134 are neither predetermined parts of speech (verbs, adverbs, and adjectives). That is, the cluster subdividing unit 35 determines that the field ID 3 and the field ID 7 are auxiliary fields to be mutated.
  • the cluster subdivision unit 35 subdivides the cluster A based on the value of the field ID 9 which is an important field.
  • FIG. 10 shows clusters A1 to A3 obtained by subdividing cluster A.
  • the cluster subdivision unit 35 classifies Msg 1134 and Msg 1211 whose field ID 9 is “started” in the message group included in cluster A into cluster A1. Further, the cluster subdivision unit 35 classifies Msg 2091 whose field ID 9 is “stopped” into cluster A2. Further, the cluster subdivision unit 35 classifies Msg 4625 whose field ID 9 value is “terminated” into the cluster A3.
  • the cluster subdividing unit 35 also divides the cluster B based on the part of speech of the field value of the variable portion, and subdivides n clusters B1 to Bn (n is an integer of 1 or more). Is generated.
  • the pattern generation unit 23 generates message patterns for the subdivided clusters A1 to A3 and clusters B1 to Bn (steps S25 to S27).
  • the pattern generation unit 23 includes the value of the field ID 9 that is a reference for division as a constant part in the common pattern.
  • the pattern generation unit 23 includes the values of the field IDs 3, 7, and 10 in the common pattern of the clusters A2 and A3.
  • the pattern generation unit 23 generates a common pattern as a variable part when the value of the variable part field determined to be unimportant by the cluster subdivision part 35 does not match in the cluster after the division. It will be.
  • the pattern generation unit 23 generates message patterns in the same manner for the clusters B1 to Bn.
  • the message analysis apparatus When presenting a large number of messages as a set of a smaller number of message patterns, the message analysis apparatus according to the third exemplary embodiment of the present invention more accurately indicates the contents and trends of important information in the message to the user. It can be grasped.
  • the cluster subdivision unit further subdivides the message group included in the cluster based on the importance of the field of the variable part. Because it does. This is because the pattern generation unit generates message patterns for the subdivided clusters.
  • the value of the important variable part is explicitly included in the message pattern, and the value of the auxiliary variable part is not included. That is, in the present embodiment, main information and auxiliary information can be distinguished from each other in the portion to be mutated. As a result, according to the present embodiment, even if it is a portion to be mutated, the value of main information can be reflected as it is in the message pattern.
  • the message analysis apparatus when presenting a large number of messages output from the system as a set of a smaller number of message patterns, the contents and trends of the behavior and status of the system. Can be grasped more accurately by the user.
  • an analyst who analyzes a large number of message groups recorded by the system must infer from the message groups what is happening on the system.
  • the field portion representing the behavior or status of the system is recognized as a variable, the value does not appear in the message pattern.
  • parts of speech such as verbs, adverbs, and adjectives in a message are highly likely to represent the behavior and state of the system and have an important meaning. If the value of such a part is not included in the message pattern, it will be difficult for an analyst to grasp the operation and status of the system.
  • the cluster is subdivided based on the value of the field.
  • important information representing the operation and status of the system is reflected in the message pattern as it is in the message.
  • an analyst using this embodiment can correctly grasp important information such as the behavior and status of the output source system of the message group based on the message pattern.
  • FIG. 11 shows a functional block configuration of a message analysis device 4 as a fourth embodiment of the present invention.
  • the message analysis device 4 is different from the message analysis device 3 according to the third exemplary embodiment of the present invention in that it includes a cluster subdivision unit 45 instead of the cluster subdivision unit 35.
  • the cluster subdivision unit 45 further transmits the message group in the cluster generated by the clustering unit 21 based on the importance of the variable portion, in substantially the same manner as the cluster subdivision unit 35 in the third embodiment of the present invention. Generate split clusters. However, the cluster subdividing unit 45 determines the importance of the variable part based on the correlation between the fields constituting the variable part, with respect to the cluster subdividing unit 35 in the third embodiment of the present invention. Is different.
  • the cluster subdivision unit 45 subdivides the cluster based on the difference in values, assuming that these fields are important. .
  • the cluster subdividing unit 45 specifies a field whose value is mutated in at least one message in the cluster. Then, the cluster subdivision unit 45 analyzes the co-occurrence relationship between the arguments for the combination of the mutated fields.
  • the co-occurrence relationship means that a value (argument) of a certain variable (field) and a value of another variable appear simultaneously in a certain message.
  • the cluster subdivision unit 45 may determine that there is a correlation between the fields when the value of a variable and the value of another variable have a one-to-one correspondence in the message group in the cluster. . Further, the cluster subdivision unit 45 may calculate the co-occurrence probability between arguments for the combination of fields constituting the variable part. In this case, the cluster subdivision unit 45 may determine that there is a correlation between the fields when the co-occurrence probability between the arguments is significantly higher than the random probability (for example, greater than or equal to a threshold value).
  • cluster subdivision unit 45 subdivides the cluster based on these values, assuming that each field determined to have correlation is important.
  • the message analysis device 4 operates in the same manner as in the second embodiment of the present invention from step S21 to S24, analyzes the field for the formed cluster, and whether or not the overall similarity satisfies a predetermined condition. Determine whether.
  • the cluster subdivision unit 45 further subdivides the clusters for which the overall similarity is determined to satisfy the predetermined condition based on the presence or absence of correlation between the plurality of fields constituting the variable portion (step S45).
  • the cluster subdivision unit 45 has a one-to-one correspondence between arguments for a combination of a plurality of fields constituting a variable portion (or the co-occurrence probability between arguments is equal to or greater than a threshold value). ), It is determined that those fields are important. Then, the cluster subdivision unit 45 subdivides the cluster based on the difference in the field values.
  • the message analysis device 4 executes steps S25 to S27 as in the third embodiment of the present invention.
  • the pattern generation unit 23 generates and outputs a list of arguments of the common pattern and its variable part as a message pattern for each cluster subdivided as necessary.
  • the message analysis device 4 ends the operation.
  • the cluster subdivision unit 45 subdivides the cluster based on the correlation between the fields (step S45).
  • the cluster subdivision unit 45 analyzes the co-occurrence relationship of arguments for the combinations of field IDs 3, 7, and 11 which are variable portions in the cluster B.
  • the analysis result of the co-occurrence relationship is schematically shown in FIG.
  • the left diagram shows the co-occurrence relationship of arguments between field IDs 3 and 7.
  • the right figure has shown the co-occurrence relation of the argument between field ID7 and 11.
  • FIG. 14 the rectangle indicates the value of each field.
  • the line which connects between rectangles represents co-occurrence relation.
  • the cluster subdivision unit 45 considers that there is a correlation between the field IDs 7 and 11 in which the co-occurrence probability between the arguments is 100%. As a result, the cluster subdivision unit 45 determines that the correlated field IDs 7 and 11 are important fields. Then, the cluster subdivision unit 45 subdivides the cluster B based on the values (arguments) of these field IDs 7 and 11.
  • FIG. 15 shows clusters B1 to B3 into which cluster B is subdivided. As shown in FIG. 15, the cluster subdivision unit 45 assigns Msg 327 in which the combination of the values of the field IDs 7 and 11 among the message groups included in the cluster B is “1197” and “reset” to the cluster B1. Classify.
  • the cluster subdivision unit 45 classifies Msg388 and Msg819 whose field IDs 7 and 11 have a combination of values “1190” and “established” into the cluster B2. Further, the cluster subdivision unit 45 classifies Msg 521 whose field IDs 7 and 11 have a combination of values “1199” and “broken” as cluster B3.
  • the cluster subdivision unit 45 also divides the cluster A based on the correlation between the fields of the variable part, and subdivides the m clusters A1 to Am (m is an integer of 1 or more). It shall be generated.
  • the pattern generation unit 23 generates message patterns for the subdivided clusters A1 to Am and clusters B1 to B3 (steps S25 to S27).
  • cluster B2 For cluster B2, a common pattern “(Date) (Time) * ⁇ NC-1190> network connection established” is generated. Further, for the cluster B2, a list of arguments “host01, host02” of the field ID3 that is a variable part is generated.
  • the pattern generation unit 23 includes the values of the field IDs 7 and 11 that are the basis of division in the clusters B1 to B3 as invariant portions in the common pattern. Further, in this example, in the clusters B1 and B3, the value is the same for the field ID3 that is a variable part in the cluster B before the division. For this reason, the pattern generation unit 23 includes the value of the field ID 3 in the common pattern of the clusters B1 and B3. However, the pattern generation unit 23 generates a common pattern as a variable part when the value of the variable part field determined to be unimportant by the cluster subdivision part 45 does not match in the divided cluster. It will be.
  • the pattern generation unit 23 generates message patterns in the same manner for the clusters A1 to Am.
  • the message analysis apparatus When presenting a large number of messages as a set of a smaller number of message patterns, the message analysis apparatus according to the fourth exemplary embodiment of the present invention displays the content and trend of information indicating the intention of the message designer. Can be accurately grasped.
  • the cluster subdivision unit further converts the message group included in the cluster based on the presence or absence of correlation between the fields of the variable portion. It is because it subdivides. This is because the pattern generation unit generates message patterns for the subdivided clusters.
  • this embodiment explicitly includes the value of the correlated variable part in the message pattern. That is, in the present embodiment, it is possible to distinguish variable information having a correlation among the parts to be mutated as main information and auxiliary information that is not so. As a result, according to the present embodiment, even if it is a portion to be mutated, the value of main information correlated between variables can be reflected as it is in the message pattern.
  • the value of such a correlated variable is likely to be information designed in advance by the message designer for some purpose.
  • a message designer may design an error code indicating the type of error message and an error level indicating the severity of the error message to be included in the message.
  • important information intended by the message designer can be reflected in the message pattern by analyzing the presence / absence of correlation between the fields that are variable portions.
  • the message analyst using this embodiment can grasp the intention of the message designer from the message pattern.
  • the cluster subdivision unit subdivides the clusters based on the part of speech of the field values constituting the variable part or the presence or absence of correlation between the fields.
  • the cluster subdivision unit may determine the importance of the field constituting the variable part based on other information, and may perform subdivision based on the value of the field determined to be important. .
  • the message is information output by another element. Also good.
  • the message may be information input via an input device. Further, the message may contain information of a type other than text.
  • the clustering unit performs clustering using the matching field ratio as the similarity or the non-matching field ratio as the distance.
  • the clustering unit may perform clustering by calculating the similarity or distance based on other information that can be calculated as information representing the similarity between messages.
  • the pattern generation unit arranges information representing the value of the field of the invariant part and information representing the field of the variable part with a predetermined symbol in the order of appearance of the field.
  • An example in which the generated information is generated as a common message has been described. Further, the example in which the pattern generation unit generates a list of arguments that can be taken by the field of the variable part has been described.
  • the expression format of the message pattern is not limited. The pattern generator can generate message patterns in other formats as long as it can recognize the values of the fields that make up the invariant part of the cluster and the argument values of the fields that make up the variable part. Good.
  • each functional block of the message analysis device is realized by a CPU that executes a computer program stored in a storage device or ROM.
  • the present invention is not limited to this, and some, all, or a combination of each functional block may be realized by dedicated hardware.
  • the functional blocks of the message analysis device may be realized by being distributed to a plurality of devices.
  • the operation of the message analysis apparatus described with reference to each flowchart may be stored in a computer storage device (storage medium) as a computer program of the present invention. Good. Then, the computer program may be read and executed by the CPU. In such a case, the present invention is constituted by the code of the computer program or a storage medium.
  • the present invention can extract a common part and a mutated part of a plurality of messages from a large number of messages without needing to define a mutated part in advance, and is suitable as an apparatus for presenting analysis of message contents and trends. is there.
  • the present invention is also suitable as an apparatus for mechanically generating a definition of a message pattern to be filtered in a log monitoring tool for filtering a log that does not require notification in a system log monitoring operation.
  • the present invention is suitable as a device that supports the work of extracting and analyzing characteristic logs from a group of error messages that are generated in large quantities at the time of abnormality during log analysis work at the time of system abnormality.
  • the present invention is suitable as an apparatus that supports analysis of user trends and situation grasps in a large number of messages written by a user to a social network service or the like on the Internet.
  • Cluster subdivision unit 1001 CPU 1002 Memory 1003 Output device 1004 Input device

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Business, Economics & Management (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Hardware Design (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Human Resources & Organizations (AREA)
  • Operations Research (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Databases & Information Systems (AREA)
  • Debugging And Monitoring (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本発明は、メッセージ間で変異する部分をあらかじめ定義する必要なく、多数のメッセージの内容や傾向を表す情報を提示することができる。　メッセージ分析装置１は、クラスタリング部１１と、フィールド解析部１２と、パターン生成部１３とを備える。クラスタリング部１１は、１つ以上のフィールドからなるメッセージの集合であるメッセージ群を、メッセージ間の類似性に基づいてクラスタに分類する。フィールド解析部１２は、クラスタ内のメッセージ群を構成する各フィールドについて、その値が変異している変数部分と、変異していない不変部分とを識別する。パターン生成部１３は、変数部分および不変部分に基づいて、クラスタ内のメッセージ群に共通するメッセージパターンを生成する。

Description

メッセージ分析装置、メッセージ分析方法、および、記憶媒体
　本発明は、多数のメッセージを分析する技術に関する。
　一般に、装置やサービスでは、その動作状況や利用状況の履歴として、ログと呼ばれるメッセージが大量に記録される。また、インターネット上のソーシャルネットワークサービス等では、多数のユーザによりメッセージが入力され記録される。このような多数のメッセージを分析する分析者には、大量のメッセージの中に含まれる情報の内容や傾向を把握することが求められる。
　メッセージを分析する技術の一例が、特許文献１に記載されている。特許文献１に記載された関連技術は、ログに含まれるメッセージから、他のメッセージと共通する共通部分と、他のメッセージと相違する相違部分とを抽出する。そして、この関連技術は、抽出した共通部分に識別情報を付与して共通部分情報として格納し、抽出した相違部分に識別情報を付与して相違部分情報として格納する。そして、この関連技術は、各メッセージを、共通部分の識別情報および相違部分の識別情報と関連付けて格納する。この関連技術を用いれば、メッセージの分析者は、大量のメッセージの中の共通部分および相違部分を把握することができる。
国際公開第２０１３／１３６４１８号
　しかしながら、特許文献１に記載された関連技術は、共通部分および相違部分を抽出するために、相違部分を構成する変数の定義を必要とする。例えば、オペレーティングシステムの動作記録としてのログに含まれるメッセージに関して、プロセスＩＤを表す変数として、一文字以上の数字列が定義される。また、ＩＰ（Internet Protocol）アドレスを表す変数として、ピリオドで区切られた数字列が定義される。そして、この関連技術は、メッセージのうち変数の定義に一致する部分を相違部分として抽出し、その他の部分を共通部分として抽出する。このように、この関連技術は、あらかじめ変数を定義しておかなければ、大量のメッセージの共通部分および相違部分を抽出することができず、その内容や傾向を表す情報として提示できない。
　本発明は、上述の課題を解決するためになされたものである。すなわち、本発明は、メッセージ間で変異する部分をあらかじめ定義する必要なく、多数のメッセージの内容や傾向を表す情報を提示する技術を提供することを目的とする。
　上記目的を達成するために、本発明のメッセージ分析装置は、１つ以上のフィールドからなるメッセージの集合であるメッセージ群を、前記メッセージ間の類似性に基づいてクラスタに分類するクラスタリング手段と、前記クラスタ内のメッセージ群を構成する各フィールドについて、その値が変異している変数部分と、変異していない不変部分とを識別するフィールド解析手段と、前記変数部分および前記不変部分に基づいて、前記クラスタ内のメッセージ群に共通するメッセージパターンを生成するパターン生成手段と、を備える。
　また、本発明のメッセージ分析方法は、コンピュータ装置を用いて、１つ以上のフィールドからなるメッセージの集合であるメッセージ群を、前記メッセージ間の類似性に基づいてクラスタに分類し、前記クラスタ内のメッセージ群を構成する各フィールドについて、その値が変異している変数部分と、変異していない不変部分とを識別し、前記変数部分および前記不変部分に基づいて、前記クラスタ内のメッセージ群に共通するメッセージパターンを生成する。
　また、本発明の記憶媒体は、１つ以上のフィールドからなるメッセージの集合であるメッセージ群を、前記メッセージ間の類似性に基づいてクラスタに分類するクラスタリングステップと、前記クラスタ内のメッセージ群を構成する各フィールドについて、その値が変異している変数部分と、変異していない不変部分とを識別するフィールド解析ステップと、前記変数部分および前記不変部分に基づいて、前記クラスタ内のメッセージ群に共通するメッセージパターンを生成するパターン生成ステップと、をコンピュータ装置に実行させるメッセージ分析プログラムを記憶している。
　本発明は、メッセージ間で変異する部分をあらかじめ定義する必要なく、多数のメッセージの内容や傾向を表す情報を提示する技術を提供することができる。
本発明の第１の実施の形態としてのメッセージ分析装置の構成を示すブロック図である。 本発明の第１の実施の形態としてのメッセージ分析装置のハードウェア構成の一例を示す図である。 本発明の第１の実施の形態としてのメッセージ分析装置の動作を説明するフローチャートである。 本発明の第２の実施の形態としてのメッセージ分析装置の構成を示すブロック図である。 本発明の第２の実施の形態としてのメッセージ分析装置の動作を説明するフローチャートである。 本発明の第２の実施の形態におけるクラスタリング結果の具体例を示す図である。 本発明の第２の実施の形態におけるフィールド解析結果の具体例を示す図である。 本発明の第３の実施の形態としてのメッセージ分析装置の構成を示すブロック図である。 本発明の第３の実施の形態としてのメッセージ分析装置の動作を説明するフローチャートである。 本発明の第３の実施の形態において細分化されたクラスタの具体例を示す図である。 本発明の第４の実施の形態としてのメッセージ分析装置の構成を示すブロック図である。 本発明の第４の実施の形態としてのメッセージ分析装置の動作を説明するフローチャートである。 本発明の第４の実施の形態におけるフィールド解析結果の具体例を示す図である。 本発明の第４の実施の形態におけるフィールド間の相関の有無を模式的に説明する図である。 本発明の第４の実施の形態において細分化されたクラスタの具体例を示す図である。
　以下、本発明の実施の形態について、図面を参照して詳細に説明する。
　（第１の実施の形態）
　本発明の第１の実施の形態としてのメッセージ分析装置１の機能ブロック構成を図１に示す。図１において、メッセージ分析装置１は、クラスタリング部１１と、フィールド解析部１２と、パターン生成部１３とを備える。メッセージ分析装置１は、メッセージ群を分析してその内容や傾向を示すメッセージパターンを生成する装置である。
　ここで、メッセージとは、装置やサービスまたは人間等によって記録される情報の単位をいう。例えば、メッセージは、装置やサービス等の動作状況や利用状況の履歴を表すログデータに含まれる情報の単位であってもよい。この場合、メッセージは、サーバやクライアントといったＩＴ（Information Technology）システムの構成要素によって、所定のタイミング毎に生成され、ログデータに追加される単位の情報であってもよい。この場合、メッセージは、そのメッセージが出力された時刻や出力元の名称等を含んでいることが多い。また、この場合、メッセージは、ログデータを表すファイルに含まれる１行分のテキストデータであることが多い。ただし、１つのメッセージは、複数行にわたっていてもよい。あるいは、複数のメッセージが、１行に含まれていてもよい。例えば、ログデータを表すファイルにおいて、複数行に渡る１つのメッセージに含まれる改行コードを空白文字に変換する前処理や、１行に含まれる複数のメッセージ間の空白文字を改行コードに変換する前処理等が行われることを想定してもよい。この場合、メッセージは、ログデータを表すファイルの１行によって構成されるとみなすことができる。
　その他、メッセージは、ログデータに含まれる情報に限らず、任意のサービスに対して入力装置やネットワークを介して入力され、記録される情報の単位であってもよい。
　また、メッセージは、１つ以上のフィールドによって構成される。フィールドは、例えば、セパレータによって区切られた情報であってもよい。例えば、「April 1 13:31:52 logging start」というメッセージは、空白をセパレータとして、５つのフィールド「April」、「1」、「13:31:52」、「logging」、「start」から構成される。あるいは、日本語で構成されるメッセージのように、空白等のセパレータで区切られていないメッセージがある。このようなメッセージは、単語や形態素、カタカナやひらがな、漢字といった文字種で分離する前処理により、１つ以上のフィールドによって構成されるとみなすことができる。
　つまり、本実施の形態におけるメッセージが、１つ以上のフィールドから構成されるという前提は、本実施の形態において処理可能なメッセージの種類を限定するものではない。どのような種類のメッセージであっても、必要に応じて前処理を施すことにより、１つ以上のフィールドから構成されるものとして処理可能である。
　また、メッセージに対する前処理として、１つのフィールドを複数のフィールドに分割する処理も考えられる。例えば、あるフィールドの値が、あるメッセージでは「abc&def」であり、他のメッセージでは「abc&ghi」であったとする。また、メッセージの内容について、abc、defおよびghiが個別の対象を表すことが定義されていたとする。このような場合、「abc&def」は、１つのフィールドではなく、「abc」、「＆」および「def」のように３つのフィールドとして処理されるのに適している。メッセージに対する前処理には、このような処理が含まれ得る。
　本実施の形態では、必要に応じて上述した前処理が施された１つ以上のフィールドからなるメッセージの集合（対象のメッセージ群）が、メッセージ分析装置１に対して入力されるものとする。例えば、対象のメッセージ群は、各メッセージについてそのフィールドの値（文字列、数値、記号等）をテーブル形式で表した情報として、あらかじめ記憶装置に格納されていてもよい。
　次に、メッセージ分析装置１のハードウェア構成の一例を図２に示す。図２において、メッセージ分析装置１は、ＣＰＵ（Central Processing Unit）１００１、メモリ１００２、出力装置１００３、および、入力装置１００４を含む。メモリ１００２は、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、補助記憶装置（ハードディスク等）等によって構成される。出力装置１００３は、ディスプレイ装置やプリンタ等のように、情報を出力する装置によって構成される。入力装置１００４は、キーボードやマウス等のように、ユーザ操作の入力を受け付ける装置によって構成される。この場合、メッセージ分析装置１の各機能ブロックは、メモリ１００２に格納されるコンピュータ・プログラムを読み込んで実行するとともに出力装置１００３、入力装置１００４の各部を制御するＣＰＵ１００１によって構成される。なお、メッセージ分析装置１およびその各機能ブロックのハードウェア構成は、上述の構成に限定されない。
　次に、メッセージ分析装置１の各機能ブロックの詳細について説明する。
　クラスタリング部１１は、対象のメッセージ群を、メッセージ間の類似性に基づいてクラスタに分類する。クラスタ数は、メッセージ数以下となる。なお、対象のメッセージ群は、前述のように、必要に応じて前処理を施された、１つ以上のフィールドからなるメッセージの集合である。例えば、クラスタリング部１１は、メモリ１００２にあらかじめ記憶された対象のメッセージ群を取得して、クラスタに分類してもよい。複数の情報をそれらの間の類似性に基づいて分類する手法には、公知の技術を採用可能である。
　フィールド解析部１２は、クラスタ内のメッセージ群を構成する各フィールドについて、その値が変異している変数部分と、変異していない不変部分とを識別する。具体的には、フィールド解析部１２は、クラスタ内の全てのメッセージに渡って、その値が一致しているフィールドを不変部分として識別してもよい。また、フィールド解析部１２は、クラスタ内の全てのメッセージのうち、少なくともいずれかで値が異なるフィールドを変数部分として識別してもよい。
　パターン生成部１３は、フィールドの変数部分と不変部分とに基づいて、クラスタ内のメッセージ群に共通するメッセージパターンを生成する。例えば、パターン生成部１３は、変数部分のフィールドを所定の記号（例えば、アスタリスク「＊」）で表した情報と、不変部分のフィールドをその値で表した情報とを、フィールドの出現順に並べた情報を、共通パターンとして生成してもよい。そして、パターン生成部１３は、そのクラスタに含まれるメッセージ群において、変数部分のフィールドがとる値のリストを抽出する。以降、変数部分として識別されたフィールドを変数と呼び、変数がとり得る値を引数と呼ぶことにする。そして、パターン生成部１３は、各クラスタについて、共通パターンおよび各変数の引数のリストを、メッセージパターンとして生成すればよい。
　以上のように構成されたメッセージ分析装置１の動作について、図３を参照して説明する。
　まず、クラスタリング部１１は、対象のメッセージ群を、メッセージ間の類似性に基づいてクラスタに分類する（ステップＳ１）。
　次に、フィールド解析部１２は、ステップＳ１で生成された各クラスタについて、クラスタ内のメッセージ群を構成する各フィールドのうち、その値が変異している変数部分と、変異していない不変部分とを識別する（ステップＳ２）。
　次に、パターン生成部１３は、各クラスタについて、変数部分と不変部分とに基づいて、クラスタ内のメッセージ群に共通するメッセージパターンを生成する（ステップＳ３）。
　前述のように、パターン生成部１３は、メッセージパターンとして、共通パターンおよび変数の引数のリストを生成してもよい。
　以上で、メッセージ分析装置１は、動作を終了する。
　次に、本発明の第１の実施の形態の効果について述べる。
　本発明の第１の実施の形態としてのメッセージ分析装置は、メッセージ間で変異する部分をあらかじめ定義する必要なく、多数のメッセージの内容や傾向を表す情報を提示することができる。
　その理由について述べる。本実施の形態では、クラスタリング部が、メッセージ群を、メッセージ間の類似性に基づいてクラスタに分類する。そして、フィールド解析部が、クラスタ内のメッセージ群を構成する各フィールドについて、その値が変異している変数部分と、変異していない不変部分とを識別する。そして、パターン生成部が、フィールドの変数部分と不変部分とに基づいて、クラスタ内のメッセージ群に共通するメッセージパターンを生成するからである。
　このように、本実施の形態は、メッセージ群において変異する部分の定義を必要とせずに、変異部分および不変部分を抽出可能である。これにより、本実施の形態は、事前の変数定義がなくても、類似するメッセージ群を、それらの間で不変の部分と変異する部分とを認識可能に利用者に提示することができる。その結果、本実施の形態を利用する利用者は、大量のメッセージ群の内容や傾向をより容易に把握することができる。
　（第２の実施の形態）
　次に、本発明の第２の実施の形態について図面を参照して詳細に説明する。なお、本実施の形態の説明において参照する各図面において、本発明の第１の実施の形態と同一の構成および同様に動作するステップには同一の符号を付して本実施の形態における詳細な説明を省略する。
　まず、本発明の第２の実施の形態としてのメッセージ分析装置２の機能ブロック構成を図４に示す。図４において、メッセージ分析装置２は、本発明の第１の実施の形態としてのメッセージ分析装置１に対して、次の点が異なる。すなわち、メッセージ分析装置２は、クラスタリング部１１に替えてクラスタリング部２１と、フィールド解析部１２に替えてフィールド解析部２２と、パターン生成部１３に替えてパターン生成部２３とを備え、さらに、クラスタ類似性判定部２４を備える。なお、メッセージ分析装置２およびその各機能ブロックは、図２を参照して説明した本発明の第１の実施の形態と同一のハードウェア要素によって構成可能である。ただし、メッセージ分析装置２および各機能ブロックのハードウェア構成は、上述の構成に限定されない。
　次に、メッセージ分析装置２の各機能ブロックの詳細について説明する。
　クラスタリング部２１は、あるメッセージと、そのメッセージに対して類似性が所定条件を満たす他のメッセージとを、同一クラスタに分類する。
　例えば、クラスタリング部２１は、２つのメッセージ間の類似性として、各メッセージを構成するフィールド数に対して一致するフィールド数の割合に基づく値（類似度）を用いてもよい。この場合、類似度が高いほど、２つのメッセージ間の類似性は高くなる。例えば、２つのメッセージが共に１０個のフィールドで構成され、そのうちの７個が一致する場合、これらのメッセージ間の類似度は、７／１０＝０．７と算出される。この場合、クラスタリング部２１は、あるメッセージと、そのメッセージに対して類似度が閾値以上の他の各メッセージとを、同一クラスタに分類してもよい。
　あるいは、クラスタリング部２１は、２つのメッセージ間の類似性として、各メッセージを構成するフィールド数に対して一致しないフィールド数の割合に基づく値（距離）を用いてもよい。この場合、距離が大きいほど、２つのメッセージ間の類似性は低くなる。例えば、２つのメッセージが共に１０個のフィールドで構成され、そのうちの３個が不一致の場合、これらのメッセージ間の距離は、３／１０＝０．３と算出される。この場合、クラスタリング部２１は、あるメッセージと、そのメッセージに対して距離が閾値以下の他の各メッセージとを、同一クラスタに分類してもよい。
　なお、２つのメッセージのフィールド数が異なる場合、類似度または距離を算出する際の分母としては、多い方または少ない方のいずれかのフィールド数を採用することを、あらかじめ定めておけばよい。例えば、多い方のフィールド数を採用すると定められていることを想定する。このとき、９個のフィールドからなるメッセージと、１０個のフィールドからなるメッセージとの間で、６個のフィールドが等しいとする。この場合、これらのメッセージ間の類似度は、前述の計算手法の場合、６／１０＝０．６０と算出される。また、これらのメッセージ間の距離は、前述の計算手法の場合、４／１０＝０．４０と算出される。
　また、クラスタリング部２１は、各メッセージにおいて所定のフィールドパターンに合致する部分を、メッセージ間で互いに類似するフィールドとみなして、メッセージ群をクラスタに分類する。ここで、所定のフィールドパターンとは、メッセージにおいて、値が異なっていても類似するフィールドであるとみなすことが可能な部分がとり得る値のパターンである。そのようなフィールドパターンは、あらかじめ定義されていてもよい。例えば、日付や日時等は、値が異なっていても類似するフィールドであるとみなすことができる。そこで、クラスタリング部２１は、日付形式や日時形式に合致するフィールドパターンをあらかじめ記憶しておいてもよい。そして、クラスタリング部２１は、上述の類似度や距離を算出する際に、これらのフィールドパターンに合致する部分については、値が異なっていても一致するフィールドであるとして算出を行えばよい。
　クラスタ類似性判定部２４は、各クラスタについて、そのクラスタにおけるメッセージ群全体の類似性が所定条件を満たすか否かを判定する。以降、クラスタにおけるメッセージ群全体の類似性を、単に全体の類似性とも記載する。例えば、クラスタ類似性判定部２４は、クラスタ内におけるメッセージ群を構成するフィールドのうち、不変部分を構成するフィールドの割合を、全体の類似性として用いてもよい。この場合、所定条件とは、全体の類似性を表す値が閾値以上であることであってもよい。また、全体の類似性を表す値の閾値は、クラスタリング部２１によって２つのメッセージ間の類似性の判断に用いられた類似度の閾値と同一の値であってもよい。
　具体的には、クラスタ類似性判定部２４は、クラスタ内における不変部分を構成するフィールドの個数を、クラスタ内のメッセージのうちの最大フィールド数で除した値を、全体の類似性を表す値として算出してもよい。そして、この場合、クラスタ類似性判定部２４は、全体の類似性を表す値が閾値以上であるか否かを判定する。
　ここで、クラスタリング部２１によって類似度または距離の閾値に基づき生成されたクラスタであっても、全体の類似性が所定条件を満たさない場合がある。これは、分類の際に基準としたメッセージに対して類似性があると判定された他の各メッセージによって、変異するフィールドが大きく異なる場合があるためである。そのようなクラスタは、メッセージパターンを生成する分類として適切ではないことが多い。そこで、クラスタ類似性判定部２４は、メッセージパターンの生成対象として適切でないクラスタを除外するために備えられた機能ブロックである。
　なお、クラスタ類似性判定部２４によって全体の類似性が所定条件を満たさないと判定されたクラスタがあっても、全体の類似性が所定条件を満たすと判定された他のクラスタを対象として、後述のパターン生成部２３が処理を行ってもよい。あるいは、クラスタ類似性判定部２４によって全体の類似性が所定条件を満たさないと判定されたクラスタがある場合、クラスタリング部２１が、類似度の閾値を変更して再度クラスタリング処理をやり直してもよい。
　その場合、閾値の変更方法としては、閾値を上げる（大きくする）方法と、下げる（小さくする）方法がある。例えば、類似度に関する閾値を上げると、実際に出力されているメッセージ数に近い多数の細かいクラスタが得られる。つまり、最終的に得られるメッセージパターン数は、メッセージ数に対してより近くなる。また、類似度に関する閾値を下げると、実際に出力されているメッセージ数より少数の粗いクラスタが得られる。つまり、最終的に得られるメッセージパターン数は、メッセージ数に比べてより少なくなる。閾値の変更方法は、メッセージパターンの用途、メッセージ量、メッセージパターンの種類数等に応じて決定されてもよい。
　パターン生成部２３は、クラスタ類似性判定部２４によって全体の類似性が所定条件を満たすと判定されたクラスタについて、本発明の第１の実施の形態におけるパターン生成部１３と同様にメッセージパターンを生成する。
　以上のように構成されたメッセージ分析装置２の動作について、図５を参照して説明する。
　まず、クラスタリング部２１は、メッセージ群をクラスタリングする際の閾値を取得する（ステップＳ２１）。例えば、クラスタリング部２１は、入力装置１００４を介して閾値を取得してもよい。
　次に、クラスタリング部２１は、対象のメッセージ群のうち、あるメッセージと、そのメッセージに対して類似度が閾値以上または距離が閾値以下の他の各メッセージとを、同一のクラスタに分類する（ステップＳ２２）。
　具体的には、前述のように、クラスタリング部２１は、メッセージの集合からメッセージを１つ取り出し、このメッセージと、他の各メッセージとの間でそれぞれ類似度（または距離）を計算する。そして、クラスタリング部２１は、取り出したメッセージと、そのメッセージに対して閾値以上の類似度（または閾値以下の距離）が算出された各メッセージとによって、１つのクラスタを形成すればよい。
　そして、クラスタリング部２１は、１つのクラスタを算出したのち、まだ分類していない残りのメッセージについて同様の処理を行い、別のクラスタを形成する。そして、メッセージ分析装置２は、各クラスタについて、ステップＳ２３～Ｓ２７の処理を行う。
　なお、メッセージ分析装置２は、まず全てのメッセージをいずれかのクラスタに分類してから、各クラスタについてステップＳ２３～Ｓ２７の処理を繰り返してもよい。あるいは、メッセージ分析装置２は、１つのクラスタを形成する度にそのクラスタについてステップＳ２３～Ｓ２７の処理を実行することを繰り返してもよい。
　ここでは、まず、フィールド解析部２２は、クラスタ内の全てのメッセージに渡って値が一致しているフィールドと、フィールドパターンに一致するフィールドとを、不変部分として識別する。また、フィールド解析部２２は、少なくとも１つのメッセージにおいて値が異なるフィールドを、変数部分として識別する（ステップＳ２３）。
　次に、クラスタ類似性判定部２４は、このクラスタにおける全体の類似性が、所定条件を満たすか否かを判断する（ステップＳ２４）。
　前述のように、クラスタ類似性判定部２４は、このクラスタ中の不変部分を構成するフィールドの個数を最大フィールド数で除した値を、クラスタにおける全体の類似性を表す値として算出してもよい。そして、クラスタ類似性判定部２４は、このクラスタにおける全体の類似性を表す値が、閾値を超えるか否かを判断すればよい。
　もし、このクラスタ全体の類似性が所定条件を満たさないと判断された場合、メッセージ分析装置２は、当該クラスタに関してメッセージパターンの生成に失敗した旨を出力して、処理を終了する。
　一方、このクラスタ全体の類似性が所定条件を満たすと判断された場合、パターン生成部２３は、このクラスタの共通パターンを生成する（ステップＳ２５）。
　具体的には、パターン生成部２３は、変数部分のフィールドを所定の記号（例えばアスタリスク「＊」）で表した情報と、不変部分のフィールドを表す情報とを、フィールドの出現順に並べた情報を共通パターンとして生成する。なお、パターン生成部２３は、不変部分のうちフィールドパターンに一致するフィールドについては、その値の代わりに、所定の文字列を用いて共通パターンを生成してもよい。例えば、パターン生成部２３は、日付のフィールドパターンに一致するフィールドを「（Ｄａｔｅ）」と表し、時刻のフィールドパターンに一致するフィールドを「（Ｔｉｍｅ）」と表して、共通パターンを生成してもよい。
　次に、パターン生成部２３は、共通パターンのうち変数部分のフィールドについて、引数のリストを生成する（ステップＳ２６）。
　そして、パターン生成部２３は、共通パターンおよび各変数部分の引数のリストを、このクラスタのメッセージパターンとして出力する（ステップＳ２７）。なお、出力先は、出力装置１００３、メモリ１００２、または、ネットワークを介して接続された他の装置等であってもよい。
　以上で、メッセージ分析装置２は、動作を終了する。
　次に、メッセージ分析装置２の動作を具体例で示す。
　この具体例では、メッセージ分析装置２は、メッセージ間の類似性の判断に前述の類似度を用いるものとする。
　ここでは、まず、クラスタリング部２１は、類似度の閾値として０．６を取得する（ステップＳ２１）。
　次に、クラスタリング部２１は、対象のログメッセージ群のうち、あるメッセージと、そのメッセージに対する他の各メッセージとの類似度を算出することにより、図６に示すクラスタＡおよびクラスタＢを形成する（ステップＳ２２）。
　図６において、各行は、１つのメッセージを表す。また、点線の楕円は、フィールドを示している。この例では、日付および時刻を表すフィールドパターンが定められている。クラスタリング部２１は、日付のフィールドパターンに一致している部分を日付フィールドとして、メッセージ間において互いに一致するものとみなす。また、クラスタリング部２１は、時刻のフィールドパターンに一致している部分を時刻フィールドとして、メッセージ間において互いに一致するものとみなす。この場合、クラスタＡでは、１行目のメッセージに対して、２行目のメッセージは、９つのフィールドのうち７つが一致している。したがって、クラスタリング部２１は、１、２行目のメッセージ間の類似度として、７／９≒０．７７を算出する。このように、クラスタリング部２１は、１行目のメッセージと、１行目のメッセージに対して類似度が０．６以上の２～４行目の各メッセージとを、クラスタＡとして分類している。クラスタＢについても同様である。
　次に、メッセージ分析装置２は、クラスタＡについて、ステップＳ２３～Ｓ２７の処理を行う。
　ここでは、フィールド解析部２２は、クラスタＡについて、不変部分のフィールドと、変数部分のフィールドとを識別し、図７に示す識別処理結果を生成する（ステップＳ２３）。
　図７において、まず、フィールド解析部２２は、識別処理結果を格納する表を作成する。識別処理結果を格納する表は、１列目（最も左の列）に、フィールドに付与したＩＤを含む。また、この表は、１行目（最も上の行）に、メッセージの識別情報を含む。また、この表は、２列目以降の各列に、各メッセージの解析結果を格納可能となっている。
　次に、フィールド解析部２２は、クラスタＡに含まれるメッセージの１つ（一例としてＭｓｇ１１３４）を代表メッセージとして識別処理を行う。まず、フィールド解析部２２は、代表メッセージＭｓｇ１１３４を構成する各フィールドの値を、図７の表の２列目に格納する。ただし、フィールド解析部２２は、日付のフィールドパターンに一致する日付フィールドについては、値の代わりに、日付を表す情報「（Ｄａｔｅ）」を格納する。また、フィールド解析部２２は、時刻のフィールドパターンに一致する時刻フィールドについては、値の代わりに、時刻を表す情報「（Ｔｉｍｅ）」を格納する。
　次に、フィールド解析部２２は、クラスタＡに含まれる次のメッセージＭｓｇ１２１１を構成する各フィールドの値のうち、代表メッセージと値が異なるフィールドについて、３列目にその値を格納する。ただし、フィールド解析部２２は、日付フィールドおよび時刻フィールドについては、代表メッセージと値が一致するものとして、値を格納しない。そして、フィールド解析部２２は、クラスタＡの残りのメッセージＭｓｇ２０９１およびＭｓｇ４６２５についても同様に、代表メッセージと値が異なるフィールドについてその値を４列目および５列目に格納する。このようにして、フィールド解析部２２は、クラスタＡの全てのメッセージについて表に値を格納する処理を行い、図７の表を生成する。
　次に、フィールド解析部２２は、図７の表の３列目以降において少なくとも１つの列に値が格納されている４個のフィールド（フィールドＩＤ３、７、９、１０）を、クラスタＡの変数部分として識別する。また、フィールド解析部２２は、図７の表の３列目以降において値が格納されていない６個のフィールド（フィールドＩＤ１、２、４、５、６、８）を、クラスタＡの不変部分として識別する。
　次に、クラスタ類似性判定部２４は、クラスタＡにおける全体の類似性を表す値が、閾値以上であるか否かを判断する（ステップＳ２４）。
　図７を参照すると、クラスタＡでは、Ｍｓｇ２０９１を構成するフィールド数が最大で１０個である。また、ステップＳ２３において、６個のフィールド（フィールドＩＤ１、２、４、５、６、８）が、クラスタＡの不変部分として識別されている。したがって、クラスタ類似性判定部２４は、クラスタＡにおける全体の類似性を表す値として、６／１０＝０．６０を算出する。ここで、閾値が０．６であるため、クラスタ類似性判定部２４は、クラスタＡにおける全体の類似性を表す値は、閾値以上であると判断する。
　そこで、パターン生成部２３は、クラスタＡの共通パターンを生成するため、不変部分のフィールドＩＤ１、２、４、５、６、８をその値またはフィールドパターンを表す情報で表現する。また、パターン生成部２３は、変数部分のフィールドＩＤ３、７、９、１０を所定の記号「＊」で表す。そして、パターン生成部２３は、これらの情報をフィールドＩＤの順に並べて、クラスタＡの共通パターン「（Ｄａｔｅ）　（Ｔｉｍｅ）　＊　ｐｒｏｃｅｓｓ　ａｂｃ　［　＊　］　＊　＊」を生成する（ステップＳ２５）。
　次に、パターン生成部２３は、クラスタＡの共通パターンのうち変数部分のフィールドＩＤ３，７，９，１０について、それぞれ引数のリストを生成する（ステップＳ２６）。
　例えば、パターン生成部２３は、図７の表におけるフィールドＩＤ３の行を参照することにより、フィールドＩＤ３の引数のリスト「ｈｏｓｔ０１、ｈｏｓｔ０２、ｈｏｓｔ０３」を生成する。同様に、パターン生成部２３は、図７の表におけるフィールドＩＤ７、９、１０の行をそれぞれ参照することにより、引数のリストを生成する。
　そして、パターン生成部２３は、クラスタＡの共通パターンおよび各変数部分の引数のリストを、メッセージパターンとして出力する（ステップＳ２７）。
　そして、メッセージ分析装置２は、クラスタＢについてもステップＳ２３～Ｓ２７を実行する。
　以上で、具体例の説明を終了する。
　次に、本発明の第２の実施の形態の効果について述べる。
　本発明の第２の実施の形態としてのメッセージ分析装置は、大量のメッセージを、より少数のメッセージパターンの集合として提示することができ、メッセージの内容や傾向を利用者に対してより素早く把握させるよう支援することができる。
　その理由について述べる。本実施の形態では、クラスタリング部が、メッセージ中の所定のフィールドパターンに一致する部分については類似するフィールドとみなしてクラスタリングを行うからである。また、フィールド解析部が、所定のフィールドパターンに一致する部分については不変部分とみなして共通メッセージを生成するからである。
　これにより、本実施の形態は、複数のメッセージ間における軽微な相違については類似するものとみなすことができ、軽微な相違も変数部分とみなす場合と比べて、より少数の共通するメッセージパターンを生成することができる。
　また、他の理由について述べる。本実施の形態では、クラスタ類似性判定部が、クラスタにおける全体の類似性が所定条件を満たすか否かを判断するからである。そして、パターン生成部が、全体の類似性が所定条件を満たすクラスタについて、メッセージパターンを生成するからである。
　これにより、本実施の形態は、全体の類似性が適正なクラスタについてメッセージパターンを生成するので、メッセージ群の内容と傾向をより精度よく反映したメッセージパターンを提示することができる。
　（第３の実施の形態）
　次に、本発明の第３の実施の形態について図面を参照して詳細に説明する。なお、本実施の形態の説明において参照する各図面において、本発明の第１および第２の実施の形態と同一の構成および同様に動作するステップには同一の符号を付して本実施の形態における詳細な説明を省略する。
　まず、本発明の第３の実施の形態としてのメッセージ分析装置３の機能ブロック構成を図８に示す。図８において、メッセージ分析装置３は、本発明の第２の実施の形態としてのメッセージ分析装置２に対して、さらに、クラスタ細分化部３５を備える点が異なる。なお、メッセージ分析装置３およびその各機能ブロックは、図２を参照して説明した本発明の第１の実施の形態と同一のハードウェア要素によって構成可能である。ただし、メッセージ分析装置３および各機能ブロックのハードウェア構成は、上述の構成に限定されない。
　クラスタ細分化部３５は、クラスタリング部２１によって生成されたクラスタ内のメッセージ群を、変数部分の重要性に基づいてさらに分割したクラスタを生成する。このとき、クラスタ細分化部３５は、変数部分の重要性を、変数部分を構成するフィールドの値の品詞に基づいて判定する。詳細には、クラスタ細分化部３５は、変数部分を構成するフィールドの値が文字列として所定の品詞である場合には、そのフィールドが重要であるものとして、その値の違いに基づいてクラスタを細分化する。
　具体的には、クラスタ細分化部３５は、クラスタ内において少なくとも１つのメッセージにおいて値が変異しているフィールドを特定する。そして、クラスタ細分化部３５は、特定したフィールドのとる値の文字列としての品詞が、所定の品詞であるか否かに基づいて、そのフィールドの重要性を判定する。なお、クラスタ細分化部３５は、特定したフィールドについて、クラスタ内のいずれかのメッセージ（例えば、代表メッセージ）における値に基づき品詞の判定を行ってもよい。また、クラスタ細分化部３５は、文字列（単語）の品詞を記憶した辞書を用いて、品詞の判定を行えばよい。そのような辞書は、例えば、メモリ１００２にあらかじめ記憶されていてもよい。所定の品詞としては、例えば、動詞、副詞、および、形容詞等が定められる。
　なお、クラスタの細分化により、分割前のクラスタでは変数部分として識別されていたフィールドのうち、重要であると判定されたフィールドは、分割後のクラスタでは不変部分として識別されることになる。
　以上のように構成されたメッセージ分析装置３の動作について、図９を参照して説明する。
　まず、メッセージ分析装置３は、ステップＳ２１～Ｓ２４まで本発明の第２の実施の形態と同様に動作して、形成したクラスタについてフィールドの解析を行い、全体の類似性が所定条件を満たすか否かを判定する。
　ここで、全体の類似性が所定条件を満たすと判定されたクラスタについて、クラスタ細分化部３５は、変数部分のフィールドの値の品詞に基づいて、さらに細分化を行う（ステップＳ３５）。
　具体的には、前述のように、クラスタ細分化部３５は、変数部分を構成するフィールドの値が文字列であり所定の品詞である場合にはそのフィールドが重要であるものと判定する。そして、クラスタ細分化部３５は、そのフィールドの値の違いに基づいて、クラスタを細分化する。
　次に、パターン生成部２３は、細分化されたクラスタ、および、細分化されなかったクラスタのそれぞれについて、本発明の第２の実施の形態と同様にステップＳ２５～Ｓ２７を実行する。ただし、パターン生成部２３は、細分化されたクラスタについて、細分化の基準となったフィールドについては、不変部分としてその値を共通パターンに含める。これにより、パターン生成部２３は、必要に応じて細分化された各クラスタについて、共通パターンおよびその変数部分の引数のリストを、メッセージパターンとして生成し出力する。
　以上で、メッセージ分析装置３は、動作を終了する。
　次に、メッセージ分析装置３の動作を具体例で示す。
　ここでは、クラスタリング部２１により図６に示すクラスタＡおよびクラスタＢが生成され、クラスタＡについて図７に示すフィールド解析結果が生成されているものとする（ステップＳ２１～Ｓ２４）。
　次に、クラスタ細分化部３５は、クラスタの細分化を行う（ステップＳ３５）。
　具体的には、まず、クラスタ細分化部３５は、図７において変数部分であるフィールドＩＤ３、７、９、１０のうち、代表メッセージＭｓｇ１１３４におけるフィールドＩＤ９の値「started」が所定の品詞（動詞）であると判定する。すなわち、クラスタ細分化部３５は、フィールドＩＤ９は、変異する重要なフィールドであると判定する。
　一方、クラスタ細分化部３５は、代表メッセージＭｓｇ１１３４におけるフィールドＩＤ３の値「ｈｏｓｔ０３」およびフィールドＩＤ７の値「３５７１」は、所定の品詞（動詞、副詞および形容詞）のいずれでもないと判定する。すなわち、クラスタ細分化部３５は、フィールドＩＤ３およびフィールドＩＤ７は、変異する補助的なフィールドであると判定する。
　そこで、クラスタ細分化部３５は、重要なフィールドであるフィールドＩＤ９の値に基づいて、クラスタＡを細分化する。図１０に、クラスタＡが細分化されたクラスタＡ１～Ａ３を示す。図１０に示すように、クラスタ細分化部３５は、クラスタＡに含まれているメッセージ群のうち、フィールドＩＤ９の値が「ｓｔａｒｔｅｄ」であるＭｓｇ１１３４、Ｍｓｇ１２１１を、クラスタＡ１に分類する。また、クラスタ細分化部３５は、フィールドＩＤ９の値が「ｓｔｏｐｐｅｄ」であるＭｓｇ２０９１を、クラスタＡ２に分類する。また、クラスタ細分化部３５は、フィールドＩＤ９の値が「ｔｅｒｍｉｎａｔｅｄ」であるＭｓｇ４６２５を、クラスタＡ３に分類する。
　また、クラスタ細分化部３５は、クラスタＢについても同様に、変数部分のフィールドの値の品詞に基づいて分割を行い、細分化されたｎ個のクラスタＢ１～Ｂｎ（ｎは１以上の整数）を生成したものとする。
　次に、パターン生成部２３は、細分化されたクラスタＡ１～Ａ３およびクラスタＢ１～Ｂｎについて、メッセージパターンを生成する（ステップＳ２５～Ｓ２７）。
　例えば、クラスタＡ１については、共通パターン「（Ｄａｔｅ）　（Ｔｉｍｅ）　＊　ｐｒｏｃｅｓｓ　ａｂｃ　［　＊　］　ｓｔａｒｔｅｄ」が生成される。また、さらに、クラスタＡ１については、変数部分であるフィールドＩＤ３の引数のリスト「ｈｏｓｔ０３、ｈｏｓｔ０２」や、フィールドＩＤ７の引数のリスト「３５７１、２２６９」が生成される。
　また、クラスタＡ２については、共通パターン「（Ｄａｔｅ）　（Ｔｉｍｅ）　ｈｏｓｔ０２　ｐｒｏｃｅｓｓ　ａｂｃ　［　２２６９　］　ｓｔｏｐｐｅｄ　ａｂｎｏｒｍａｌｌｙ」が生成される。
　また、クラスタＡ３については、共通パターン「（Ｄａｔｅ）　（Ｔｉｍｅ）　ｈｏｓｔ０３　ｐｒｏｃｅｓｓ　ａｂｃ　［　３５７１　］　ｔｅｒｍｉｎａｔｅｄ」が生成される。
　このように、パターン生成部２３は、クラスタＡ１～Ａ３において、分割の基準となったフィールドＩＤ９については、不変部分としてその値を共通パターンに含めている。また、この例では、クラスタＡ２およびＡ３において、分割前のクラスタＡにおいて変数部分であったフィールドＩＤ３、７、１０についてもそれぞれ値が同一となっている。そのため、パターン生成部２３は、クラスタＡ２およびＡ３の共通パターンに、フィールドＩＤ３、７、１０の値を含めている。ただし、パターン生成部２３は、クラスタ細分化部３５によって重要でないと判定された変数部分のフィールドについては、分割後のクラスタにおいて値が一致していない場合には、変数部分として共通パターンを生成することになる。
　パターン生成部２３は、クラスタＢ１～Ｂｎについても、同様にしてメッセージパターンを生成する。
　以上で、具体例の説明を終了する。
　次に、本発明の第３の実施の形態の効果について述べる。
　本発明の第３の実施の形態としてのメッセージ分析装置は、大量のメッセージをより少数のメッセージパターンの集合として提示する際に、メッセージ中で重要な情報の内容や傾向を、利用者により的確に把握させることができる。
　その理由について述べる。本実施の形態では、本発明の第２の実施の形態と同様の構成に加えて、クラスタ細分化部が、クラスタに含まれるメッセージ群を、変数部分のフィールドの重要性に基づいてさらに細分化するからである。そして、パターン生成部が、細分化されたクラスタについて、メッセージパターンを生成するからである。
　これにより、本実施の形態は、重要な変数部分の値をメッセージパターンに明示的に含め、補助的な変数部分の値を含めない。つまり、本実施の形態は、変異する部分のうち、主要な情報と補助的な情報とを区別することができる。その結果、本実施の形態は、変異する部分であっても主要な情報についてはその値をそのままメッセージパターンに反映させることができる。
　さらに、本発明の第３の実施の形態としてのメッセージ分析装置は、システムから出力される大量のメッセージをより少数のメッセージパターンの集合として提示する際に、システムの振舞いや状況等の内容や傾向を、利用者により的確に把握させることができる。
　ここで、システムによって記録される大量のメッセージ群の分析をおこなう分析者は、システム上でなにが起きているかを、メッセージ群から推測しなくてはならない。しかしながら、システムの振る舞いや状況を表すフィールドの部分が変数として認識されてしまうとメッセージパターンにその値が現れない。例えば、メッセージ中における動詞や副詞、形容詞といった品詞の部分は、システムの動作や状態を表し重要な意味を持つ可能性が高い。そのような部分の値がメッセージパターンに含まれていないと、解析者にとって、システムの動作や状況を把握しづらくなる。
　本実施の形態は、メッセージ中の変数部分のフィールドの値が所定の品詞（動詞、副詞および形容詞等）であれば、そのフィールドの値に基づいてクラスタを細分化する。これにより、本実施の形態は、メッセージ中において、システムの動作や状態等を表す重要な情報をそのままメッセージパターンに反映することになる。その結果、本実施の形態を利用する解析者は、メッセージ群の出力元のシステムの振舞いや状況等の重要な情報を、メッセージパターンに基づき正しく把握することが可能となる。
　（第４の実施の形態）
　次に、本発明の第４の実施の形態について図面を参照して詳細に説明する。なお、本実施の形態の説明において参照する各図面において、本発明の第１から第３の実施の形態と同一の構成および同様に動作するステップには同一の符号を付して本実施の形態における詳細な説明を省略する。
　まず、本発明の第４の実施の形態としてのメッセージ分析装置４の機能ブロック構成を図１１に示す。図１１において、メッセージ分析装置４は、本発明の第３の実施の形態としてのメッセージ分析装置３に対して、クラスタ細分化部３５に替えてクラスタ細分化部４５を備える点が異なる。
　クラスタ細分化部４５は、本発明の第３の実施の形態におけるクラスタ細分化部３５と略同様に、クラスタリング部２１によって生成されたクラスタ内のメッセージ群を、変数部分の重要性に基づいてさらに分割したクラスタを生成する。ただし、クラスタ細分化部４５は、本発明の第３の実施の形態におけるクラスタ細分化部３５に対して、変数部分の重要性を、変数部分を構成するフィールド間の相関に基づいて判定する点が異なる。
　詳細には、クラスタ細分化部４５は、変数部分を構成する複数のフィールド間に相関が有る場合には、それらのフィールドが重要であるものとして、その値の違いに基づいてクラスタを細分化する。
　具体的には、クラスタ細分化部４５は、クラスタ内において少なくとも１つのメッセージにおいて値が変異しているフィールドを特定する。そして、クラスタ細分化部４５は、変異しているフィールドの組合せについて、引数間の共起関係を分析する。共起関係があるとは、ある変数（フィールド）の値（引数）と別の変数の値とがあるメッセージに同時に出現することである。
　そして、クラスタ細分化部４５は、そのクラスタ内のメッセージ群において、ある変数の値と別の変数の値とが１対１に対応する場合、各フィールド間に相関があると判定してもよい。また、クラスタ細分化部４５は、変数部分を構成するフィールドの組合せについて、引数間の共起確率を算出してもよい。この場合、クラスタ細分化部４５は、引数間の共起確率がランダムな確率に比べて有意に高い（例えば、閾値以上である）場合に、フィールド間に相関があると判定してもよい。
　また、クラスタ細分化部４５は、相関があると判定した各フィールドを重要であるとして、それらの値に基づきクラスタを細分化する。
　以上のように構成されたメッセージ分析装置４の動作について、図１２を参照して説明する。
　まず、メッセージ分析装置４は、ステップＳ２１～Ｓ２４まで本発明の第２の実施の形態と同様に動作して、形成したクラスタについてフィールドの解析を行い、全体の類似性が所定条件を満たすか否かを判定する。
　次に、クラスタ細分化部４５は、全体の類似性が所定条件を満たすと判定されたクラスタについて、変数部分を構成する複数のフィールド間の相関の有無に基づいて、さらに細分化を行う（ステップＳ４５）。
　具体的には、前述のように、クラスタ細分化部４５は、変数部分を構成する複数のフィールドの組合せについて、それらの引数が１対１に対応する（または引数間の共起確率が閾値以上である）場合には、それらのフィールドが重要であるものと判定する。そして、クラスタ細分化部４５は、それらのフィールドの値の違いに基づいて、クラスタを細分化する。
　次に、メッセージ分析装置４は、本発明の第３の実施の形態と同様にステップＳ２５～Ｓ２７までを実行する。これにより、パターン生成部２３は、必要に応じて細分化された各クラスタについて、共通パターンおよびその変数部分の引数のリストを、メッセージパターンとして生成し出力する。
　以上で、メッセージ分析装置４は、動作を終了する。
　次に、メッセージ分析装置４の動作を具体例で示す。
　ここでは、クラスタリング部２１により図６に示すクラスタＡおよびクラスタＢが生成され、クラスタＢについて図１３に示すフィールド解析結果が生成されているとする（ステップＳ２１～Ｓ２４）。
　次に、クラスタ細分化部４５は、フィールド間の相関に基づきクラスタの細分化を行う（ステップＳ４５）。
　具体的には、まず、クラスタ細分化部４５は、クラスタＢにおいて変数部分であるフィールドＩＤ３、７、１１の組合せについて、引数の共起関係を分析する。共起関係の分析結果を模式的に図１４に示す。図１４において、左図は、フィールドＩＤ３および７間での引数の共起関係を示している。また、右図は、フィールドＩＤ７および１１間での引数の共起関係を示している。また、図１４において、矩形は各フィールドの値を示している。また、矩形間を結ぶ線は、共起関係を表している。
　図１４に示したように、フィールドＩＤ３および７間では、その値の出現の仕方に規則性がみられない。一方、フィールドＩＤ７および１１間では、その値が１対１に対応している。つまり、フィールドＩＤ７および１１間では、引数間の共起確率が１００％である。
　この場合、クラスタ細分化部４５は、引数間の共起確率が１００％であるフィールドＩＤ７および１１間に相関があるとみなす。これにより、クラスタ細分化部４５は、相関のあるフィールドＩＤ７および１１を重要なフィールドであると判定する。そして、クラスタ細分化部４５は、これらのフィールドＩＤ７および１１の値（引数）に基づいて、クラスタＢを細分化する。図１５に、クラスタＢが細分化されたクラスタＢ１～Ｂ３を示す。図１５に示すように、クラスタ細分化部４５は、クラスタＢに含まれているメッセージ群のうち、フィールドＩＤ７および１１の値の組合せが「１１９７」および「ｒｅｓｅｔ」であるＭｓｇ３２７を、クラスタＢ１に分類する。また、クラスタ細分化部４５は、フィールドＩＤ７および１１の値の組合せが「１１９０」および「ｅｓｔａｂｌｉｓｈｅｄ」であるＭｓｇ３８８およびＭｓｇ８１９を、クラスタＢ２に分類する。また、クラスタ細分化部４５は、フィールドＩＤ７および１１の値の組合せが「１１９９」および「ｂｒｏｋｅｎ」であるＭｓｇ５２１を、クラスタＢ３に分類する。
　また、クラスタ細分化部４５は、クラスタＡについても同様に、変数部分のフィールド間の相関に基づいて分割を行い、細分化されたｍ個のクラスタＡ１～Ａｍ（ｍは１以上の整数）を生成したものとする。
　次に、パターン生成部２３は、細分化されたクラスタＡ１～ＡｍおよびクラスタＢ１～Ｂ３について、メッセージパターンを生成する（ステップＳ２５～Ｓ２７）。
　例えば、クラスタＢ１については、共通パターン「（Ｄａｔｅ）　（Ｔｉｍｅ）　ｈｏｓｔ０３　＜　ＮＣ　－　１１９７＞　ｎｅｔｗｏｒｋ　ｃｏｎｎｅｃｔｉｏｎ　ｒｅｓｅｔ」が生成される。
　また、クラスタＢ２については、共通パターン「（Ｄａｔｅ）　（Ｔｉｍｅ）　＊　＜　ＮＣ　－　１１９０＞　ｎｅｔｗｏｒｋ　ｃｏｎｎｅｃｔｉｏｎ　ｅｓｔａｂｌｉｓｈｅｄ」が生成される。また、さらに、クラスタＢ２については、変数部分であるフィールドＩＤ３の引数のリスト「ｈｏｓｔ０１、ｈｏｓｔ０２」が生成される。
　また、クラスタＢ３については、共通パターン「（Ｄａｔｅ）　（Ｔｉｍｅ）　ｈｏｓｔ０２　＜　ＮＣ　－　１１９９＞　ｎｅｔｗｏｒｋ　ｃｏｎｎｅｃｔｉｏｎ　ｂｒｏｋｅｎ」が生成される。
　このように、パターン生成部２３は、クラスタＢ１～Ｂ３において、分割の基準となったフィールドＩＤ７および１１については、不変部分としてその値を共通パターンに含めている。また、この例では、クラスタＢ１およびＢ３において、分割前のクラスタＢにおいて変数部分であったフィールドＩＤ３についても値が同一となっている。そのため、パターン生成部２３は、クラスタＢ１およびＢ３の共通パターンに、フィールドＩＤ３の値を含めている。ただし、パターン生成部２３は、クラスタ細分化部４５によって重要でないと判定された変数部分のフィールドについては、分割後のクラスタにおいて値が一致していない場合には、変数部分として共通パターンを生成することになる。
　パターン生成部２３は、クラスタＡ１～Ａｍについても、同様にしてメッセージパターンを生成する。
　以上で、具体例の説明を終了する。
　次に、本発明の第４の実施の形態の効果について述べる。
　本発明の第４の実施の形態としてのメッセージ分析装置は、大量のメッセージをより少数のメッセージパターンの集合として提示する際に、メッセージの設計者の意図を示す情報の内容や傾向を、利用者に的確に把握させることができる。
　その理由について述べる。本実施の形態では、本発明の第２の実施の形態と同様の構成に加えて、クラスタ細分化部が、クラスタに含まれるメッセージ群を、変数部分のフィールド間の相関の有無に基づいてさらに細分化するからである。そして、パターン生成部が、細分化されたクラスタについて、メッセージパターンを生成するからである。
　これにより、本実施の形態は、相関のある変数部分の値をメッセージパターンに明示的に含める。つまり、本実施の形態は、変異する部分のうち、相関のある変数部分を主要な情報として、そうでない補助的な情報とを区別することができる。その結果、本実施の形態は、変異する部分であっても、変数間に相関のある主要な情報についてはその値をそのままメッセージパターンに反映させることができる。
　ここで、このような相関のある変数（フィールド）の値は、メッセージの設計者が、なんらかの意図により事前に設計した情報である可能性が高い。たとえば、システムにより出力されるログでは、メッセージの設計者が、エラーメッセージの種類を表すエラーコードや、エラーメッセージの深刻度を表すエラーレベルなどを、共にメッセージに含めるよう設計することが考えられる。このようなメッセージでは、これらのエラーコードおよびエラーレベルをそれぞれ表すフィールド間には、相関が有ることになる。
　このように、本実施の形態は、変数部分であるフィールド間の相関の有無を分析することによって、メッセージの設計者の意図した重要な情報をメッセージパターンに反映することができる。その結果、本実施の形態を利用するメッセージの分析者は、メッセージパターンから、メッセージの設計者の意図を把握することが可能となる。
　なお、上述した本発明の第３および第４の実施の形態において、クラスタ細分化部が、変数部分を構成するフィールドの値の品詞またはフィールド間の相関の有無に基づいて、クラスタを細分化する例について説明した。これに限らず、クラスタ細分化部は、変数部分を構成するフィールドの重要性をその他の情報に基づいて判定し、重要性があると判定したフィールドの値に基づいて細分化を行ってもよい。
　また、上述した本発明の各実施の形態において、メッセージが、ＩＴシステムの要素により出力されたテキスト情報である例を中心に説明したが、メッセージは、他の要素によって出力された情報であってもよい。また、メッセージは、入力装置を介して入力された情報であってもよい。また、メッセージは、テキスト以外の種類の情報を含んでいてもよい。
　また、上述した本発明の各実施の形態において、クラスタリング部が、一致するフィールドの割合を類似度として、または一致しないフィールドの割合を距離として、クラスタリングを行う例について説明した。これに限らず、クラスタリング部は、メッセージ間の類似性を表す情報として算出可能な他の情報に基づいて類似度または距離を算出し、クラスタリングを行ってもよい。
　また、上述した本発明の各実施の形態において、パターン生成部が、不変部分のフィールドの値を表した情報と、変数部分のフィールドを所定の記号で表した情報とを、フィールドの出現順に並べた情報を共通メッセージとして生成する例について説明した。また、パターン生成部が、変数部分のフィールドの取り得る引数のリストを生成する例について説明した。ただし、メッセージパターンの表現形式を限定するものではない。パターン生成部は、クラスタにおいて不変部分を構成するフィールドの値と、変数部分を構成するフィールドのとる引数の値とを認識可能な表現形式であれば、その他の形式でメッセージパターンを生成してもよい。
　また、上述した本発明の各実施の形態において、メッセージ分析装置の各機能ブロックが、記憶装置またはＲＯＭに記憶されたコンピュータ・プログラムを実行するＣＰＵによって実現される例を中心に説明した。これに限らず、各機能ブロックの一部、全部、または、それらの組み合わせが専用のハードウェアにより実現されていてもよい。
　また、上述した本発明の各実施の形態において、メッセージ分析装置の機能ブロックは、複数の装置に分散されて実現されてもよい。
　また、上述した本発明の各実施の形態において、各フローチャートを参照して説明したメッセージ分析装置の動作を、本発明のコンピュータ・プログラムとしてコンピュータの記憶装置（記憶媒体）に格納しておいてもよい。そして、係るコンピュータ・プログラムを当該ＣＰＵが読み出して実行するようにしてもよい。そして、このような場合において、本発明は、係るコンピュータ・プログラムのコードあるいは記憶媒体によって構成される。
　また、上述した各実施の形態は、適宜組み合わせて実施されることが可能である。
　本発明は、大量のメッセージの中から、複数のメッセージの共通部分および変異部分を、あらかじめ変異部分を定義する必要なく抽出することができ、メッセージの内容や傾向の分析を提示する装置として好適である。また、本発明は、システムのログ監視業務において、通知の不要なログをフィルタリングするログ監視ツールにおいて、フィルタリング対象となるメッセージパターンの定義を機械的に生成する装置として好適である。また、本発明は、システム異常時のログ分析作業時において、異常時に大量に発生するエラーメッセージ群から特徴的なログを抽出して分析する作業を支援する装置として好適である。また、本発明は、インターネット上のソーシャルネットワークサービス等にユーザが書き込む大量のメッセージにおいて、ユーザのトレンドや状況把握等の分析を支援する装置として好適である。
　以上、上述した実施形態を模範的な例として本発明を説明した。しかしながら、本発明は、上述した実施形態には限定されない。即ち、本発明は、本発明のスコープ内において、当業者が理解し得る様々な態様を適用することができる。
　この出願は、２０１５年６月１１日に出願された日本出願特願２０１５－１１８２１７を基礎とする優先権を主張し、その開示の全てをここに取り込む。
　１、２、３、４　　メッセージ分析装置
　１１、２１　　クラスタリング部
　１２、２２　　フィールド解析部
　１３、２３　　パターン生成部
　２４　　クラスタ類似性判定部
　３５、４５　　クラスタ細分化部
　１００１　ＣＰＵ
　１００２　メモリ
　１００３　出力装置
　１００４　入力装置

Claims (9)

  1. 　１つ以上のフィールドからなるメッセージの集合であるメッセージ群を、前記メッセージ間の類似性に基づいてクラスタに分類するクラスタリング手段と、
    　前記クラスタ内のメッセージ群を構成する各フィールドについて、その値が変異している変数部分と、変異していない不変部分とを識別するフィールド解析手段と、
    　前記変数部分および前記不変部分に基づいて、前記クラスタ内のメッセージ群に共通するメッセージパターンを生成するパターン生成手段と、
    　を備えたメッセージ分析装置。
  2. 　前記クラスタを、前記変数部分の重要性に基づいてさらに分割したクラスタを生成するクラスタ細分化手段をさらに備えたことを特徴とする請求項１に記載のメッセージ分析装置。
  3. 　前記クラスタ細分化手段は、前記変数部分の重要性を、前記変数部分を構成するフィールドの値の品詞に基づいて判定することを特徴とする請求項２に記載のメッセージ分析装置。
  4. 　前記クラスタ細分化手段は、前記変数部分の重要性を、前記変数部分を構成するフィールド間の相関に基づいて判定することを特徴とする請求項２に記載のメッセージ分析装置。
  5. 　前記クラスタリング手段は、前記メッセージと、該メッセージに対して類似性が所定条件を満たす他のメッセージとを同一クラスタに分類することを特徴とする請求項１から請求項４のいずれか１項に記載のメッセージ分析装置。
  6. 　前記クラスタ内におけるメッセージ群全体の類似性が所定条件を満たすか否かを判定するクラスタ類似性判定手段をさらに備え、
    　前記パターン生成手段は、前記クラスタ類似性判定手段によって前記全体の類似性が所定条件を満たすと判定されたクラスタについて、前記メッセージパターンを生成することを特徴とする請求項１から請求項５のいずれか１項に記載のメッセージ分析装置。
  7. 　前記クラスタリング手段は、前記各メッセージにおいて所定のフィールドパターンに合致する部分を、前記メッセージ間で互いに類似するフィールドとみなして前記メッセージ群を前記クラスタに分類し、
    　前記フィールド解析手段は、前記フィールドパターンに合致する値を持つフィールドを、不変部分として識別することを特徴とする請求項１から請求項６のいずれか１項に記載のメッセージ分析装置。
  8. 　コンピュータ装置を用いて、
    　１つ以上のフィールドからなるメッセージの集合であるメッセージ群を、前記メッセージ間の類似性に基づいてクラスタに分類し、
    　前記クラスタ内のメッセージ群を構成する各フィールドについて、その値が変異している変数部分と、変異していない不変部分とを識別し、
    　前記変数部分および前記不変部分に基づいて、前記クラスタ内のメッセージ群に共通するメッセージパターンを生成するメッセージ分析方法。
  9. 　１つ以上のフィールドからなるメッセージの集合であるメッセージ群を、前記メッセージ間の類似性に基づいてクラスタに分類するクラスタリングステップと、
    　前記クラスタ内のメッセージ群を構成する各フィールドについて、その値が変異している変数部分と、変異していない不変部分とを識別するフィールド解析ステップと、
    　前記変数部分および前記不変部分に基づいて、前記クラスタ内のメッセージ群に共通するメッセージパターンを生成するパターン生成ステップと、
    　をコンピュータ装置に実行させるメッセージ分析プログラムを記憶した記憶媒体。
PCT/JP2016/002816 2015-06-11 2016-06-10 メッセージ分析装置、メッセージ分析方法、および、記憶媒体 Ceased WO2016199433A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2017523119A JP6856527B2 (ja) 2015-06-11 2016-06-10 メッセージ分析装置、メッセージ分析方法、および、メッセージ分析プログラム
US15/577,839 US20180165174A1 (en) 2015-06-11 2016-06-10 Message analysis apparatus, message analysis method, and storage medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015118217 2015-06-11
JP2015-118217 2015-06-11

Publications (1)

Publication Number Publication Date
WO2016199433A1 true WO2016199433A1 (ja) 2016-12-15

Family

ID=57503335

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/002816 Ceased WO2016199433A1 (ja) 2015-06-11 2016-06-10 メッセージ分析装置、メッセージ分析方法、および、記憶媒体

Country Status (3)

Country Link
US (1) US20180165174A1 (ja)
JP (1) JP6856527B2 (ja)
WO (1) WO2016199433A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11574211B2 (en) 2017-09-27 2023-02-07 Nec Corporation Log analysis system, log analysis method, log analysis program, and storage medium
JP2023043829A (ja) * 2021-09-16 2023-03-29 アップル インコーポレイテッド 制限されたリソース環境における効率的な通信

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11115359B2 (en) * 2016-11-03 2021-09-07 Samsung Electronics Co., Ltd. Method and apparatus for importance filtering a plurality of messages
CN110730270B (zh) * 2019-09-09 2021-09-14 上海斑马来拉物流科技有限公司 一种短信分组方法、装置及计算机存储介质、电子设备
CN112541074B (zh) * 2019-09-20 2025-02-14 中兴通讯股份有限公司 日志解析方法、装置、服务器和存储介质
CN114510364B (zh) * 2022-02-11 2025-04-08 青岛特来电新能源科技有限公司 文本聚类结合链路调用的异常数据根因分析方法及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013214148A (ja) * 2012-03-30 2013-10-17 Toshiba Corp メッセージ変換装置、及びメッセージ変換プログラム
JP2015036891A (ja) * 2013-08-13 2015-02-23 日本電信電話株式会社 監視情報分析装置及び方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8949177B2 (en) * 2007-10-17 2015-02-03 Avaya Inc. Method for characterizing system state using message logs
US20140317137A1 (en) * 2012-03-12 2014-10-23 Hitachi, Ltd. Log management computer and log management method

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013214148A (ja) * 2012-03-30 2013-10-17 Toshiba Corp メッセージ変換装置、及びメッセージ変換プログラム
JP2015036891A (ja) * 2013-08-13 2015-02-23 日本電信電話株式会社 監視情報分析装置及び方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
CHINA TSU HIROSE ET AL.: "News Clustering Based on Background Similarity", IEICE TECHNICAL REPORT NLC2005-110 NATURAL LANGUAGE UNDERSTANDING AND MODELS OF COMMUNICATION, vol. 105, no. 594, 26 January 2006 (2006-01-26), pages 25 - 30, ISSN: 0913-5685 *
TAKAHIRO TANAKA ET AL.: "Consideration on Content Classification of Description Questionnaire Using Self-Organizing Map", IEICE TECHNICAL REPORT NC2010-196 NEUROCOMPUTING, vol. 110, no. 461, 28 February 2011 (2011-02-28), pages 407 - 410, ISSN: 0913-5685 *
YUKI TSUDA ET AL.: "A Classification Method of Inquiry E-mails for Describing FAQ with Automatic Setting Mechanism of Judgment Thresholds", THE TRANSACTIONS OF THE INSTITUTE OF ELECTRICAL ENGINEERS OF JAPAN . C, A PUBLICATION OF ELECTRONICS, INFORMATION AND SYSTEMS SOCIETY, vol. 131, no. 111, 1 November 2011 (2011-11-01), pages 1925 - 1932, ISSN: 0385-4221 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11574211B2 (en) 2017-09-27 2023-02-07 Nec Corporation Log analysis system, log analysis method, log analysis program, and storage medium
JP2023043829A (ja) * 2021-09-16 2023-03-29 アップル インコーポレイテッド 制限されたリソース環境における効率的な通信
JP2025023914A (ja) * 2021-09-16 2025-02-19 アップル インコーポレイテッド 制限されたリソース環境における効率的な通信
US12335048B2 (en) 2021-09-16 2025-06-17 Apple Inc. Efficient communication in limited resource environments
JP7841051B2 (ja) 2021-09-16 2026-04-06 アップル インコーポレイテッド 制限されたリソース環境における効率的な通信

Also Published As

Publication number Publication date
JP6856527B2 (ja) 2021-04-07
US20180165174A1 (en) 2018-06-14
JPWO2016199433A1 (ja) 2018-03-29

Similar Documents

Publication Publication Date Title
JP6856527B2 (ja) メッセージ分析装置、メッセージ分析方法、および、メッセージ分析プログラム
US11783046B2 (en) Anomaly and causation detection in computing environments
KR102665757B1 (ko) 악성 스크립트 탐지 장치 및 방법
US10055481B2 (en) Method and system for automatic event classification
US9781139B2 (en) Identifying malware communications with DGA generated domains by discriminative learning
CN102779249B (zh) 恶意程序检测方法及扫描引擎
CN113656254A (zh) 基于日志信息的异常检测方法、系统和计算机设备
EP3136249A1 (en) Log analysis device, attack detection device, attack detection method and program
US20160124792A1 (en) Fault analysis apparatus, fault analysis method, and recording medium
JP2018045403A (ja) 異常検知システム及び異常検知方法
Baron Influence of data discretization on efficiency of Bayesian classifier for authorship attribution
CN114818643A (zh) 一种保留特定业务信息的日志模板提取方法
CN116155589B (zh) 一种基于机器学习的攻击事件类型的识别方法和系统
CN112241530A (zh) 恶意pdf文档的检测方法及电子设备
KR102246405B1 (ko) Tf-idf 기반 벡터 변환 및 데이터 분석 장치 및 방법
Anton et al. Security in process: Detecting attacks in industrial process data
JP7078114B2 (ja) ログ分析装置、ログ分析方法、プログラム
Srinivas et al. A novel framework for fake news detection using lda and qda
US20210136032A1 (en) Method and apparatus for generating summary of url for url clustering
WO2016093839A1 (en) Structuring of semi-structured log messages
US11609957B2 (en) Document processing device, method of controlling document processing device, and non-transitory computer-readable recording medium containing control program
Xiong et al. An anomaly detection framework for system logs based on ensemble learning
CN112597494A (zh) 一种用于恶意程序检测的行为白名单自动收集方法
CN119377513A (zh) 网页的智能分类方法及网站的安全设备的有效性验证方法
Liu et al. The runtime system problem identification method based on log analysis

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16807140

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2017523119

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 15577839

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16807140

Country of ref document: EP

Kind code of ref document: A1