WO2004107652A1 - Procede d'apprentissage automatique de chroniques frequentes dans un journal d'alarmes pour la supervision de systemes dynamiques - Google Patents

Procede d'apprentissage automatique de chroniques frequentes dans un journal d'alarmes pour la supervision de systemes dynamiques Download PDF

Info

Publication number
WO2004107652A1
WO2004107652A1 PCT/FR2004/050205 FR2004050205W WO2004107652A1 WO 2004107652 A1 WO2004107652 A1 WO 2004107652A1 FR 2004050205 W FR2004050205 W FR 2004050205W WO 2004107652 A1 WO2004107652 A1 WO 2004107652A1
Authority
WO
WIPO (PCT)
Prior art keywords
alarm
alarms
sequences
log
chronicles
Prior art date
Application number
PCT/FR2004/050205
Other languages
English (en)
Inventor
Christophe Dousson
Fabrice Clerot
Françoise FESSANT
Original Assignee
France Telecom
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by France Telecom filed Critical France Telecom
Priority to US10/554,303 priority Critical patent/US7388482B2/en
Priority to EP04785574A priority patent/EP1627494A1/fr
Publication of WO2004107652A1 publication Critical patent/WO2004107652A1/fr

Links

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00—Testing or monitoring of control systems or parts thereof
    • G05B23/02—Electric testing or monitoring
    • G05B23/0205—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
    • G05B23/0259—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterized by the response to fault detection
    • G05B23/0267—Fault communication, e.g. human machine interface [HMI]
    • G05B23/027—Alarm generation, e.g. communication protocol; Forms of alarm
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H04L41/0604—Management of faults, events, alarms or notifications using filtering, e.g. reduction of information by using priority, element types, position or time
    • H04L41/0613—Management of faults, events, alarms or notifications using filtering, e.g. reduction of information by using priority, element types, position or time based on the type or category of the network elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H04L41/0631—Management of faults, events, alarms or notifications using root cause analysis; using analysis of correlation between notifications, alarms or events based on decision criteria, e.g. hierarchy, tree or time analysis
    • H04L41/065—Management of faults, events, alarms or notifications using root cause analysis; using analysis of correlation between notifications, alarms or events based on decision criteria, e.g. hierarchy, tree or time analysis involving logical or physical relationship, e.g. grouping and hierarchies
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S40/00—Systems for electrical power generation, transmission, distribution or end-user application management characterised by the use of communication or information technologies, or communication or information technology specific aspects supporting them

Definitions

  • the present invention relates to a method and a system for automatic learning of frequent chronicles of an alarm log of a dynamic system for the supervision of the latter.
  • the dynamic systems concerned by the invention are, for example, telecommunication networks, computer networks or any other industrial installations whose equipment is supervised such as nuclear power plants, assembly lines, automated factories, etc.
  • the supervision of a dynamic system consists in monitoring its good functioning, in collecting information on its state or that of the components of the system, in detecting and identifying the malfunctions which can occur. This supervision is most often carried out by a computer system which centralizes information sent over time by components of the dynamic system.
  • the information received by the supervision system can be very diverse: for example information on the progress of procedures, alert messages; they are often linked to measurements by physical sensors.
  • the supervision system receives information in the form of alarms, each alarm being formed by an event of a given type, for example such electrical equipment of the dynamic system is switched off (in the form of a coded message), associated with its date of occurrence (often as an integer number of time units).
  • types of alarm are “loss of signal” or “loss of transmission frame”, which can also be grouped under the more general type of “transmission failure”. .
  • the alarms received by the supervision system are stored in an alarm log which corresponds to a list of received alarms ordered in time according to the occurrence dates between a start date and an end date of the log.
  • a supervision system can receive a considerable number of alarms, with large variations over time: for example, it can go from several hundred messages per second to a few tens or less.
  • Some of the alarms received are not independent but result from “cascades” of alarms due to the interdependence of certain components of the supervised dynamic system.
  • Analyzing the alarm log, in particular to search for the real causes of malfunctions in order to propose an appropriate reaction (preventive or corrective) is a difficult task because it is necessary to isolate from the mass of log information the relevant groups of alarms.
  • Possible representation for these groups alarms uses sets of events linked by time constraints (in the form of graphs): these are the chronicles.
  • Knowledge about the evolution of a dynamic system can be represented by such chronicles because we can consider that each chronicle constitutes a possible scenario for the evolution of the system. This knowledge acquired via chronicles therefore makes it possible to anticipate the behavior of the dynamic system and thus allows better control of it.
  • the alarms are generated automatically by the various equipment of the network (switches, multiplexers, cross-connects, ...) and are transmitted to a central supervisor.
  • the flow of alarms then contains alarms due to network automatisms, which can be described as normal, and alarms linked to malfunctions; if a column corresponds to a malfunction then its alarms will be analyzed to find the cause of this malfunction and remedy it.
  • Most supervision and control systems have an architecture in three modules, 14, 16 and 15, as illustrated in FIG.
  • a supervision system 17 is connected to a dynamic system 10, interacting with the exterior 11, components of which are fitted with sensors 12 and which can be controlled by actuators 13; the sensors 12 send signals to a detection module 14 which generates alarms from these signals and transmits them to a diagnostic module 16 which interprets the alarms, identifies the characteristic situations of the evolution of 10, which locates the components of 10 involved in these situations, which determines the causes of possible malfunctions and which transmits this information to a decision module 15 which then determines the actions to be performed (for aim at a given objective or to bring the supervised system back to a normal situation) on the components of 10 and transmit commands accordingly to the actuators 13 of the dynamic system.
  • the chronicles are learned at the level of the diagnostic module and makes it possible to identify the relevant information which is dispersed in the alarm log.
  • the identification of the characteristic situations encountered during the evolution of the dynamic system, in particular those related to anomalies, and the detection of the causes of these situations for diagnostic purposes are based on the chronicles discovered during learning.
  • Chronicles can also be used to anticipate certain behaviors of the dynamic system.
  • an alarm is represented as a pair (A, t A ), where A designates a type of event and t At its date of occurrence, then the time constraint "from A to B" between two alarms (A, t A ) and (B, t B ) (or the constraint "from t A to t B "), represented by a time interval [t " , t + ] placed between events A and B, signifies that we have the following relation on the dates of occurrence: t " ⁇ (t B - t A ) ⁇ t + , the absence of constraint between two times being represented by the constraint [- ⁇ , + ⁇ ].
  • a chronicle (or scenario or even temporal pattern) of the alarm log is made up of the data of k elements, k being the size of the chronicle, i.e. k types of events of the log (or associated alarms) and time constraints between the k corresponding occurrence dates.
  • k being the size of the chronicle
  • time constraints between the k corresponding occurrence dates.
  • a time constraint graph is an oriented graph whose vertices are the dates and whose arcs are labeled by the constraints between these dates; for example, for two dates ti and t 2 , the arc from ti to t 2 is labeled by the constraint "from ti to t 2 ".
  • chronicle C there can be many examples of the creation of a chronicle C given in the alarm log, it is said that there are several instances of chronicle C; an instance of a chronicle therefore corresponds to a list of chronicle alarms (or of the events associated with these alarms), ordered in time, extracted from the log.
  • FIG. 2 An example of a chronicle is illustrated in Figure 2, this chronicle involves events of types a (in 1 or 4), b (in 2) and c (in 3) with indications of time intervals relating to time constraints (for example 5): an event of type a (in 1) occurs at an initial time, it precedes an event of type c (in 3) which occurs between 2 and 5 time units later, then a type b event occurs between 3 and 10 time units later as well as another type a event which occurs between 2 and 10 time units later (after the initial event ), subsequent events of types b and a occurring respectively between 1 and 6 time units and between 0 and 8 units of time after the type c event (in 3).
  • the frequency of a chronicle is called the number of instances of this chronicle in the alarm log. It is therefore a number of occurrences of the chronicle in reality rather than a real frequency; however, a real frequency (or average appearance rate) is trivially obtained by dividing this number of occurrences by the duration of the alarm log, i.e. the difference between its end and start dates, because the log analysis is done on a given end date.
  • the size of the alarm log (or its length) is the number of alarms it contains.
  • the size of a chronicle is the number of events from which it is formed, that is to say the size of its instances.
  • a chronicle is said to be frequent in a journal, when its frequency in the journal exceeds a given threshold frequency f m i n .
  • the process of learning frequent chronicles in an alarm log corresponds to exploring and analyzing the log in order to discover chronicles whose frequency of instances in the log exceeds a given threshold frequency. It is indeed a matter of exploring sequences of alarms both in terms of events and in terms of time constraints between their dates of occurrence to find the chronicles, but also to recognize identified chronicles, through their instances, within the newspaper (the number of times a column is recognized in the newspaper being equal to its frequency).
  • This significant cost reflects the complexity of the process, which is mainly linked to two factors: (i) the number of alarms present in the log (the size of the log to be processed) and, (ii) the threshold frequency f mln , set by the user, which sets the minimum frequency of the chronicles to look for in the journal.
  • a graph of time constraints may have several equivalent representations (there are therefore as many equivalent representations of a corresponding chronicle) but that there is only one minimal representation (at sense of a partial relationship); the calculation of this last representation, as well as the verification of its global consistency, is generally carried out by a well-known algorithm of Floyd-Warshall type of complexity in 0 (n 3 ) where n is the number of instants (or dates ) of the graph [5] and is therefore linked to the number of alarms.
  • n the number of instants (or dates ) of the graph [5] and is therefore linked to the number of alarms.
  • L max of the time constraints that is to say the maximum duration between the dates of occurrence of the alarms of a chronicle (or duration of the chronicle).
  • the invention thus aims to improve the processing speed of an application for learning chronicles of an alarm log so as, in particular, to allow a reduction in the threshold frequency, for the search for chronicles corresponding to epiphenomena, while maintaining acceptable treatment times.
  • the invention implements data analysis techniques such as those relating to data classification (or “clustering” in English), that is to say data grouping methods. There are very many algorithms that calculate such aggregates or groups or data clusters (“clusters” in English).
  • the invention relates to a machine learning method comprising a preprocessing of the alarm log, not having the drawbacks of the prior art, which makes it possible to manufacture partial alarm logs (of reduced sizes), from the log original alarms, on each of which learning is then carried out.
  • This * automatic 'division into partial logs must be intelligent', in fact a systematic or random division of the alarm log into alarm blocks does not improve anything from the point of view of frequencies if the distribution of patterns is random: this kind cutting does not allow learning at low frequency ' because the frequency of an epiphenomenon will drop faster than the size of the newspaper.
  • the automatic cutting preprocessing according to the invention makes it possible to ensure that the partial logs will be rich in alarm sequences which are similar, or are similar, from the point of view of the alarms produced.
  • this pretreatment tends to select the zones of the alarm log corresponding to the peaks of rate of appearance (see in Figure 4, the peaks 41,42,43) while reducing the size of the log to be analyzed, which makes it possible to increase the effective frequency of an epiphenomenon in the new log and makes it detectable as soon as this last frequency reaches or exceeds the threshold frequency, whereas with a learning done directly on the original journal 1 the epiphenomenon would have been too low a frequency: by reducing the size, by proceeding according to the invention, the frequency of the rare chronicle is passed, corresponding to the type of similarity of the partial journal, above the threshold.
  • the essential phenomenon which is the basis of the invention is that if two parts, or sequences of alarms, of the original alarm log contain instances of the same chronicles then these parts must be relatively similar in the sense that they must contain several elements in common and in a more or less similar order: if each of these parts is described by a set of parameters (constituting a representation of the part), associated with various aspects of its alarm content, then the similarity of parts is expressed by the similarity (or proximity) of the sets of parameters, representative of these parts, in the space of parameters. On the other hand, if these parts do not have chronicles in common, then the division into parts according to the invention will bring nothing more compared to a direct learning: however, in this case, the advantage of the invention is that it doesn't allow you to learn by mistake.
  • the invention is a method for automatic learning of frequent chronicles of an alarm log of a dynamic system, for the supervision of this system, the alarms being associated with a plurality of events of the system of a plurality of types, characterized in that it comprises the following steps: a) automatic selection and grouping of alarm sequences from the alarm log so as to form groups of sequences of 'similar alarms; and b) automatically generating a partial alarm log for each group of similar alarm sequences obtained in step a), from the alarms belonging to the sequences of this group; and c) automatic learning of frequent chronicles of each partial alarm log obtained in step b) so as to generate a partial set of frequent chronicles for each partial alarm log obtained in step b), and manufacturing a set of frequent chronicles from the alarm log from the frequent chronicles of each of the partial sets of frequent chronicles obtained.
  • This general mode is represented in FIG. 5: in an alarm log J 50, alarm sequences 51 are selected Si, S 2 , ..., S p and then grouped 52 into groups of similar sequences Gi, G 2 , .., G r , thus performing step a) of the general mode. The group alarms are then used to manufacture 53 the partial logs Ji, J 2 , ..., J r according to step b) of the general mode. Then, in accordance with step c) of the general mode, learning of frequent chronicles 54 is carried out on each partial journal Ji transmitted and the partial set ⁇ ⁇ of frequent chronicles of Ji is determined 55; finally a set E of journal chronicles J is constituted 56 from the chronicles of the various partial sets Ei.
  • the invention also relates to a device for implementing the new method described above, that is to say a system for automatic learning of frequent chronicles from an alarm log of a dynamic system, for the supervision of this system, comprising means for acquiring alarms of the dynamic system and for generating an alarm log from the acquired alarms, each alarm being associated with an event of the dynamic system among a plurality of events d '' a plurality of types and on a date of occurrence, means of transmission of the alarm log as well as means of learning chronicles capable of implementing a method of automatic learning of chronicles of a log of alarms, of frequencies greater than or equal to a threshold of adjustable minimum frequency fo and of adjustable maximum duration T, and capable of transmitting the chronicles obtained, characterized in that it further comprises:
  • - a module for selecting and grouping alarm sequences capable of receiving an alarm log and capable of selecting and grouping alarm sequences from the alarm log, and capable of forming a group of alarm sequences similar and to transmit this group; - a module for manufacturing a partial alarm log from the alarms of a group of similar alarm sequences received from the module for selecting and grouping alarm sequences from the alarm log, the module being capable of transmitting the partial alarm log obtained to the chronicle learning means; a module for manufacturing a set of frequent chronicles from the alarm log, from chronicles transmitted by the chronicle learning means, the module being able to transmit the chronicles from the set of frequent chronicles.
  • FIG. 6 This learning system according to the invention is illustrated in FIG. 6: the learning system 66 is here represented in connection with the diagnostic module 16 of a supervision system 17 of a dynamic system 10.
  • Alarms 60 are transmitted to means 61 for acquiring alarms and for generating an alarm log J.
  • the log J is transmitted to a module M2 for selecting and grouping tear sequences 62.
  • the module selects sequences Si, S 2 ,. ”, S p (in variable number p) and forms groups of similar sequences Gi, G 2 , .., G r (in variable number r); it transmits each group G k , for k varying from 1 to r, to a module M3 for manufacturing a partial alarm log 63.
  • Each partial log J k is generated from the alarms sequences of the corresponding group G k .
  • the module M3 transmits each partial journal J to the means M4 for learning frequent chronicles 64, of minimum frequency fo and of duration adjustable maximum T, which then produce a partial set Ek of frequent chronicles of J containing a number M (k), variable according to the index k, of chronicles designated by Ci ( k> , ..., C M ⁇ k).
  • a module M5 for manufacturing a set of chronicles 65 generates a set E of chronicles of J from the chronicles of all the partial sets E transmitted by the module M4.
  • the module M5 then transmits the chronicles Ci, ..., C M of E for their exploitation by the supervision system.
  • the modules M2, M3 are absent and that the module M1 directly transmits the log J to the learning means M4 which directly manufacture the set E (the module M5 is therefore also absent).
  • FIG. 1 is a logic diagram of a supervision system of a dynamic system as indicated above.
  • FIG. 2 shows an example of a chronicle involving events of three types a, b and c.
  • Figure 3 is a block diagram showing the learning of frequent chronicles of the prior art.
  • FIG. 4 represents a curve of the rate of appearance ⁇ (on the ordinate) of a pattern, as a function of time t (on the abscissa), typical of an epiphenomenon. Characteristic peaks 41, 42 and 43 are indicated.
  • Figure 5 is a block diagram showing the learning of frequent chronicles according to the invention in its general mode.
  • FIG. 6 is a block diagram showing a learning system according to the invention, in a supervision system of a dynamic system.
  • step a) of the general mode of the invention is an important step in the process which can be carried out in many ways: for example, it is it is possible to take as many sequences as there are alarms in the log, each sequence therefore containing an alarm, but in this case the number of sequences to be grouped is then considerable.
  • step a) of the chronicle learning method in step a) of the chronicle learning method according to the invention, the automatic selection of alarm sequences is carried out by means of an automatic split of the alarm log into parts, each part being composed of alarms from the alarm log whose occurrence dates are ordered in time and are between a start date and an end date associated with this part of the log, each part of the alarm log defining a selected alarm sequence of which the alarms are those which belong to this part.
  • This mode can therefore be implemented to carry out the selection of sequences from step a) of the general mode.
  • the division of the alarm log into parts, or by time slices, can be carried out according to many different methods: by way of nonlimiting examples, the parts can be of different sizes (in number of alarms contained) or else identical, they can have the same duration or variable durations, they can be separate or have alarms in common, they can constitute as a whole a partition of the alarm log or, on the contrary, do not take into account some alarms, etc.
  • the set union of the parts of the alarm log will reconstitute the log so as not to lose alarms which may belong to chronicle instances at this stage of the learning process: any alarm of the log will then belong to at least one parts of the newspaper.
  • the previous breakdown of the alarm log into parts is such that any alarm in the alarm log belongs to at least one of the parts of the alarm log.
  • This mode has the advantage of not eliminating any alarm from the log alarms during cutting.
  • This mode implemented with the cutting mode, can be used to carry out the selection of sequences in step a) of the general mode.
  • the grouping, in step a), of the selected sequences which have similarities can be carried out using a similarity measurement on a space in which each sequence of alarms is described by a set of parameters which can be seen as defining coordinates of a point in this space called sequence representation space.
  • Each parameter of a sequence, or coordinate of the point representative of the sequence in the representation space is associated with the description of the alarm content of the sequence in terms of a given type of alarm.
  • the space for representing the sequences is A dimensional.
  • the value of a sequence coordinate corresponds to the weight of the sequence in alarms of the type associated with this coordinate.
  • each sequence of alarms selected in step a) of the method is represented, in the representation space of dimension A, by a point having At coordinates, the coordinate of rank j, where j denotes any integer index between 1 and A, is equal to the number of times the type of alarm associated with the index j appears in the sequence of alarms.
  • the similarity measure used to calculate the grouping of sequences from the proximity measures of the sequences in the representation space, in particular in the grouping algorithms of the classification methods.
  • this measure is not necessarily a distance (it may not respect triangular inequality and we then speak of semi-metric, for example the cosine measure which measures the cosine of the angle between two vectors whose components are the coordinates, respectively, of the representative points of two sequences considered).
  • this measure of similarity is a distance and therefore makes it possible to provide the representation space with a metric.
  • Minkowski's metric or distance
  • the points, representing the alarm sequences, closest to each other in the sequence representation space form clusters and each cluster corresponds to a group of so-called similar sequences.
  • the criterion of proximity of two points of the representation space being that if the measure of similarity of these points is less than or equal to a given threshold value then the two points belong to the same cluster, and if the measure of similarity of these points is greater than the threshold value so the two points belong to separate clusters.
  • sequence grouping mode in step a) of the method, the automatic grouping of alarm sequences, to form groups of similar alarm sequences, is carried out at using a grouping method.
  • This mode can therefore be implemented to carry out the grouping in step a) of the general mode, and it can also be used jointly either with the mode with cutting or with the mode with complete cutting for carrying out step a ) of the general mode.
  • the choice of the representation of alarm sequences conditions both the relevance of the grouping of sequences and the complexity of the calculations of similarity measures to be performed (due to the number of dimensions of the associated representation space).
  • the content of an alarm sequence in the alarm log can be described in a more or less exhaustive way: for example if the log contains N distinct types of alarms, it is possible to describe the alarm content of the sequence on the basis of these N types of alarms, but one can also choose to describe this content on the basis of a lower number of types of alarms and in this case certain alarms (although still appearing in the sequence), corresponding to types absent from the representation, will not be described; in the latter case, however, the size of the representation space is reduced, which is advantageous from the point of view of the complexity of the grouping calculations.
  • the formation of groups of sequences of similar alarms is carried out by means of the following steps consisting in: represent each of the alarm log alarm sequences by its content, based on a set of alarm types with A elements taken from the distinct alarm types of the alarm log, in greater or equal number to A, in a space for representing the alarm sequences of dimension A; and - automatically group alarm sequences from the alarm log in the representation of alarm sequences, so as to form groups of similar alarm sequences.
  • This mode is dependent on the general mode or the mode with cutting or the mode with complete cutting or the mode with grouping of sequences.
  • this mode with selection of types can advantageously use the weighted representation of the alarm sequences described above.
  • This mode with selection of types can therefore be implemented to carry out the formation of groups in step a) of the general mode, and it can also be used jointly either with the mode with cutting or with the mode with complete cutting or even with the mode with grouping of sequences, possibly combined with one of the two preceding modes, for carrying out step a) of the general mode.
  • step a the formation of groups of similar alarm sequences is carried out by means of the following steps consisting in: - automatically grouping types of alarms from the alarm log so as to form groups of similar types of alarms, the result of the grouping being a number S of groups of types of alarms; and - represent each sequence of alarms in the alarm log by its content, based on groups of types of alarms, in number S 'less than or equal to S, obtained in the previous step, in a space of representation of alarm sequences of dimension S '; and
  • the mode with grouping of types can therefore be implemented to carry out the formation of groups in step a) of the general mode, and it can also be used in conjunction either with the mode with cutting or with the mode with complete cutting or even with the mode with grouping of sequences, possibly combined with one of the two modes above, for carrying out step a) of the general mode.
  • the automatic grouping of the alarm sequences of the mode with grouping of types can consist in automatically forming groups of similar sequences from the alarm log, each group of similar sequences being associated with a group of alarm types and resulting the selection of alarm sequences from the alarm log, the alarm content of the same types as those of the type group considered exceeds a given threshold for this group.
  • This grouping method has the advantage of being very simple to implement.
  • said mode with grouping of types with thresholds in step a), the formation of groups of similar alarm sequences is carried out by means of the following steps consisting to: - automatically group types of alarms from the alarm log so as to form groups of similar types of alarms, the result of the grouping being a number S of groups of types of alarms; and - represent each sequence of alarms in the alarm log by its content, based on groups of types of alarms, in number S 'less than or equal to S, obtained in the previous step, in a space of representation of alarm sequences of dimension S '; and automatically form groups of similar sequences from the alarm log, each group of similar sequences being associated with a group of types of alarms and resulting from the selection of alarm sequences from the alarm log including the same alarm content types than those of the type group considered exceeds a given threshold for this group.
  • the grouping mode of types with thresholds can therefore be implemented to carry out the formation of groups in step a) of the general mode, and it can also be used jointly either with the cutting mode or with the complete cutting mode. for carrying out step a) of the general mode.
  • mode with grouping of types it is also possible, in a particular mode called mode with grouping of types, to carry out the grouping of types of alarms, in the mode with grouping of types or in the mode with grouping of types with thresholds, by implementing a method grouping of alarm log types of alarms to form groups of similar alarm types.
  • this automatic grouping of the types of alarms by means of a grouping method mentioned above is advantageously carried out either by a grouping method based on a semantic map of the types of alarms (that is to say, each alarm is treated as a series of symbols, or text, and grouping is carried out) or by a grouping method based on the accumulation profile over time (normalized or not), in the alarm log, of each type of alarm.
  • step c) of the method learning chronicles on the partial alarm logs obtained at the end of the step b) the process by a series of operations executed in series on a computer.
  • step c) are executed in parallel on a computer. It is, in fact, these learning operations of chronicles which take the most time among all the operations linked to the other steps of the method according to the invention; however, it is clear that these latter operations can also be carried out in parallel to save time.
  • This particular division is such that if, statistically, any instance of a chronicle (of maximum length T) is present in J then it is present in at least part of J.
  • This division is therefore also in accordance with the mode with complete division as can be easily verified.
  • each group G (with: 1 ⁇ k ⁇ r) of similar parts (or alarm sequences) comprising a variable number of parts (or alarm sequences).
  • This last classification step is therefore a mode with grouping of sequences.
  • the weighted representation is used to describe parts of BC J 'ec a performance space with as many dimensions as the newspaper J includes distinct types of alarms.
  • step b) a partial alarm log Jk is produced for each corresponding group Gk from the set union of the parts, or corresponding alarm sequences, of the group. Thus, no alarm sequence of any group is omitted.
  • step c) automatic learning of frequent chronicles is carried out by means of the FACE learning software on each of the partial alarm logs J k , 1 ⁇ k ⁇ r, obtained previously.
  • E ⁇ C ⁇ ⁇ ), ..., C M (k) ⁇ (where C m ( k), l ⁇ m (k) ⁇ M (k), denotes a chronicle of J k ).
  • the FACE software [4,6] is a learning tool particularly well adapted to alarms and chronicles produced by telecommunication systems; in variants of the preferred mode, however, other learning software is implemented in step c).
  • the chronicles obtained will then be used for the diagnostic module of a supervision system for the identification of the characteristic situations of the behavior of the supervised dynamic system.
  • a maximum duration T of the chronicles to be learned in step c) is fixed;
  • step a) the difference between the end date and the start date of any part of the alarm log is equal to 2 * T; and, the parts are cut out from the alarm log so that, for any given part of the start date D ', the part whose subsequent start date D''is closest to D', if it exists , is such that its start date D '' is equal to the date D 'increased by T; and, the automatic regrouping of all the alarm sequences of the alarm log obtained is carried out by means of an algorithm based on self-organizing maps of Kohonen; and in step b), for each group of similar alarm sequences obtained in step a), a partial alarm log is produced from the set union of alarm sequences of the group of sequence d 'similar alarms; and
  • step c) automatic chronicle learning is carried out using the FACE learning system.
  • the preferred mode is a mode dependent on the mode with complete cutting and on the mode with grouping of sequences.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Alarm Systems (AREA)

Abstract

Procédé d'apprentissage automatique de chroniques fréquentes dans un journal d'alarmes issues d'un système dynamique pour la supervision de ce système et système d'apprentissage pour la mise en oeuvre du procédé dans un système de supervision. Selon le procédé, dans un journal J d'alarmes (50), des séquences d'alarmes (51) sont sélectionnées S1. , S2 ,..., Sp puis regroupées (52) en groupes de séquences similaires G1, , G2 ,.., Gr. Les alarmes des groupes servent ensuite à fabriquer (53) les journaux partiels J1 , J2 , Jr- Un apprentissage de chroniques fréquentes est alors effectué (54) sur chaque journal partiel Ji transmis et l'ensemble partiel Ei des chroniques fréquentes de Ji est déterminé (55) ; enfin un ensemble E de chroniques du journal J est constitué (56) avec des chroniques des divers ensembles partiels Ei.

Description

PROCEDE D'APPRENTISSAGE AUTOMATIQUE DE CHRONIQUES
FRÉQUENTES DANS UN JOURNAL D'ALARMES POUR LA
SUPERVISION DE SYSTÈMES DYNAMIQUES
DESCRIPTION
DOMAINE TECHNIQUE
La présente invention a pour objet un procédé et un système d'apprentissage automatique de chroniques fréquentes d'un journal d'alarmes d'un système dynamique pour la supervision de ce dernier.
Les systèmes dynamiques concernés par l'invention sont, par exemples, les réseaux de télécommunication, les réseaux informatiques ou toutes autres installations industrielles dont les équipements sont supervisés telles que des centrales nucléaires, des chaînes de montage, des usines automatisées etc.
La supervision d'un système dynamique consiste à surveiller son bon fonctionnement, à collecter les informations sur son état ou sur celui des composants du système, à détecter et identifier les dysfonctionnements qui peuvent se produire. Cette supervision est le plus souvent effectuée par un système informatique qui centralise des informations envoyées au cours du temps par des composants du système dynamique. Les informations reçues par le système de supervision peuvent être très diverses : par exemple des informations de déroulement de procédures, des messages d'alertes ; elles sont souvent liées à des mesures de capteurs physiques. Le système de supervision reçoit des informations sous forme d'alarmes, chaque alarme étant formée d'un événement d'un type donné, par exemple tel équipement électrique du système dynamique est hors tension (sous forme d'un message codé), associé à sa date d'occurrence (souvent sous forme d'un nombre entier d'unités de temps) . Dans le cas d'un réseau de télécommunication des exemples de types d'alarmes sont « perte de signal » ou encore « perte de trame de transmission », que l'on peut encore regrouper sous le type plus général de « panne de transmission ».
Les alarmes reçues par le système de supervision sont stockées dans un journal d'alarmes qui correspond à une liste des alarmes reçues ordonnée dans le temps suivant les dates d'occurrence entre une date de début et une date de fin du journal.
Un système de supervision peut recevoir un nombre considérable d'alarmes, avec de fortes variations au cours du temps : on peut par exemple passer de plusieurs centaines de messages par secondes à quelques dizaines ou moins. Certaines des alarmes reçues ne sont pas indépendantes mais résultent de « cascades » d'alarmes du fait de l'interdépendance de certains composants du système dynamique supervisé. L'analyse du journal d'alarmes, notamment pour rechercher les véritables causes de dysfonctionnements afin de proposer une réaction appropriée (préventive ou corrective) , est une tâche difficile car il faut isoler dans la masse d'informations du journal les groupes pertinents d'alarmes. Une représentation possible pour ces groupes d'alarmes utilise des ensembles d'événements reliés par des contraintes temporelles (sous forme de graphes) : ce sont les chroniques. La connaissance sur l'évolution d'un système dynamique peut être représentée par de telles chroniques car on peut considérer que chaque chronique constitue un scénario possible pour l'évolution du système. Cette connaissance acquise via les chroniques permet donc d' anticiper le comportement du système dynamique et autorise ainsi un meilleur contrôle de celui-ci.
Dans le cas d'un réseau de télécommunication par exemple, les alarmes sont générées automatiquement par les divers équipements du réseau (commutateurs, multiplexeurs, brasseurs,...) et sont transmises à un superviseur central. Le flot d'alarmes contient alors des alarmes dues aux automatismes du réseau, et que l'on peut qualifier de normales, et des alarmes liées à des dysfonctionnements ; si une chronique correspond à un dysfonctionnement alors ses alarmes seront analysées pour trouver l'origine de ce dysfonctionnement et y remédier. La plupart des systèmes de supervision et de contrôle ont une architecture en trois modules, 14,16 et 15, comme illustré sur la Figure 1 : un système de supervision 17 est relié à un système dynamique 10, en interaction avec l'extérieur 11, dont des composants sont munis de capteurs 12 et qui peut être commandé par des actionneurs 13 ; les capteurs 12 envoient des signaux à un module de détection 14 qui génère des alarmes à partir de ces signaux et les transmet à un module de diagnostic 16 qui interprète les alarmes, identifie les situations caractéristiques de l'évolution de 10, qui localise les composants de 10 impliqués dans ces situations, qui détermine les causes d'éventuels dysfonctionnements et qui transmet ces informations à un module de décision 15 qui détermine alors les actions à accomplir (pour viser un objectif donné ou pour ramener le système supervisé à une situation normale) sur les composants de 10 et transmet des commandes en conséquence aux actionneurs 13 du système dynamique.
L'apprentissage des chroniques intervient au niveau du module de diagnostic et permet de dégager les informations pertinentes qui sont dispersées dans le journal d'alarmes. L'identification des situations caractéristiques rencontrées au cours de l'évolution du système dynamique, notamment celles liées à des anomalies, et la détection des causes de ces situations à des fins de diagnostic sont basées sur les chroniques découvertes lors de l'apprentissage. Les chroniques peuvent aussi permettre d'anticiper certains comportements du système dynamique.
La découverte des chroniques d'un journal d'alarmes est donc une étape essentielle pour la supervision d'un système dynamique. Si une alarme est représentée sous la forme d'un couple (A, tA) , où A désigne un type d'événement et tA sa date d'occurrence, alors, la contrainte temporelle « de A à B » entre deux alarmes (A,tA) et (B,tB) (ou encore la contrainte « de tA à tB ») , représentée par un intervalle de temps [t",t+] placé entre les événements A et B, signifie que l'on a la relation suivante sur les dates d' occurrence : t" < (tB - tA) < t+ , l'absence de contrainte entre deux instants étant représenté par la contrainte [-∞,+∞].
Une chronique (ou scénario ou encore motif temporel) du journal d'alarmes est constituée par la donnée de k éléments, k étant la taille de la chronique, c'est-à-dire de k types d'événements du journal (ou des alarmes associées) et des contraintes temporelles entre les k dates d'occurrence correspondantes. On peut dire qu'une chronique est un ensemble de types d'événements dont les dates d'occurrence sont contraintes, et ces contraintes peuvent se représenter sous la forme d'un graphe temporel .
Un graphe de contraintes temporelles est un graphe orienté dont les sommets sont les dates et dont les arcs sont libellés par les contraintes entre ces dates; par exemple, pour deux dates ti et t2 , l'arc de ti vers t2 est libellé par la contrainte « de ti à t2 ».
Il peut exister de nombreux exemples de réalisation d'une chronique C donnée dans le journal d'alarmes, on dit alors qu'il existe plusieurs instances de la chronique C ; une instance d'une chronique correspond donc à une liste des alarmes de la chronique (ou des événements associés à ces alarmes), ordonnées dans le temps, extraite du journal.
Un exemple de chronique est illustré sur la Figure 2, cette chronique met en jeu des événements de types a (en 1 ou 4) , b (en 2) et c (en 3) avec des indications d'intervalles de temps relatifs aux contraintes temporelles (par exemple 5) : un événement de type a (en 1) se produit à un temps initial, il précède un événement de type c (en 3) qui se produit entre 2 et 5 unités de temps plus tard, alors un événement de type b se produit entre 3 et 10 unités de temps plus tard ainsi qu'un autre événement de type a qui se produit entre 2 et 10 unités de temps plus tard (après l'événement initial), les événements ultérieurs de types b et a se produisant respectivement entre 1 et 6 unités de temps et entre 0 et 8 unités de temps après l'événement de type c (en 3) .
Considérons alors, à titre d'exemple et à propos de la chronique de la Figure 2, une' liste suivante d'événements el à e8 dans laquelle, par exemple, l'événement el correspondant à l'occurrence d'une alarme de type a à une date t = 4 unités de temps est noté el(a,t=4) : el (a, t=4) , e2 (d, t=5) , e3 (a, t=6) , e4 (c,t=8) ,e5(b,t=10) ,e6(e,t=ll) ,e7 (a,t=12) ,e8(b,t=14) , liste qui fait apparaître huit alarmes (liées aux huit événements el à e8) de cinq types différents notés a, b, c, d, et e . On peut, sur cet exemple, reconnaître quatre instances de la chronique de la Figure 2, à savoir {el, e4,e5, e7 } , {e3, e4, e5, e7 } , {e3, e4, e7, e8} et {el, e4,e7, e8} qui mettent en jeu les trois types d'alarmes a, b et c et vérifient bien les relations entre dates d'occurrence de la chronique.
On appelle fréquence d'une chronique le nombre d'instances de cette chronique dans le journal d'alarmes. Il s'agit donc d'un nombre d'occurrences de la chronique en réalité plutôt qu'une véritable fréquence ; cependant on obtient trivialement une vraie fréquence (ou taux d'apparition moyen) en divisant ce nombre d'occurrences par la durée du journal d'alarmes, c'est-à-dire la différence entre ses dates de fin et de début, car l'analyse du journal se fait à une date de fin donnée. La taille du journal d'alarmes (ou sa longueur) est le nombre d'alarmes qu'il contient. La taille d'une chronique est le nombre d'événements dont elle est formée c'est-à-dire la taille de ses instances.
Une chronique est dite fréquente, dans un journal, lorsque sa fréquence dans le journal dépasse une fréquence seuil fmin donnée.
Le processus d'apprentissage de chroniques fréquentes dans un journal d'alarmes correspond à l'exploration et à l'analyse du journal pour découvrir les chroniques dont la fréquence des instances dans le journal dépasse une fréquence seuil donné. Il s'agit en effet d'explorer des séquences d'alarmes à la fois sur le plan des événements et sur le plan des contraintes temporelles entre leurs dates d'occurrence pour trouver les chroniques, mais aussi de reconnaître des chroniques identifiées, à travers leurs instances, au sein du journal (le nombre de fois où une chronique est reconnue dans le journal étant égal à sa fréquence) .
ETAT DE LA TECHNIQUE ANTERIEURE
Il existe plusieurs algorithmes [1,2,3,4] capables de construire et de découvrir toutes les chroniques fréquentes présentes dans un journal d'alarmes, de nombreuses variantes de ces algorithmes ont été développées, notamment le système FACE [4, 6] (acronyme pour « Frequency Analyser for Chronicle Extraction ») . L'apprentissage automatique de chroniques sur un calculateur est cependant très coûteux en temps de calcul et en occupation mémoire, de plus, trop diminuer la fréquence seuil (pour trouver des chroniques plus rares) peut aboutir à un phénomène d'explosion combinatoire qui sature le calculateur. Ce coût important est le reflet de la complexité du processus, cette dernière est principalement liée à deux facteurs : (i) le nombre d'alarmes présentes dans le journal (la taille du journal à traiter) et, (ii) la fréquence seuil fmln , fixée par l'utilisateur, qui fixe la fréquence minimale des chroniques à rechercher dans le journal.
On notera qu'en ce qui concerne la gestion des contraintes temporelles, un graphe de contraintes temporelles peut avoir plusieurs représentations équivalentes (il y a donc autant de représentations équivalentes d'une chronique correspondante) mais qu'il existe une seule représentation minimale (au sens d'une relation d'ordre partiel) ; le calcul de cette dernière représentation, ainsi que la vérification de sa consistance globale, est généralement effectué par un algorithme bien connu de type Floyd-Warshall d'une complexité en 0(n3) où n est le nombre d'instants (ou dates) du graphe [5] et est donc lié au nombre d'alarmes. En pratique, l'homme du métier fixe à la fois la taille maximum Lmax des contraintes temporelles, c'est-à-dire la durée maximale entre les dates d'occurrence des alarmes d'une chronique (ou durée de la chronique) , et la fréquence seuil fmin pour effectuer dans un temps raisonnable un apprentissage de chroniques sur un journal d'alarmes J donné. Ce « temps raisonnable » ne sera évidemment pas le même si la supervision et le contrôle du système dynamique se font en temps réel ou si l'analyse du journal est faite en différé, pour des besoins d'acquisition d'expertise par exemple.
Le résultat de l'apprentissage est alors l'ensemble E des chroniques du journal E = {C],...,CM} de fréquences supérieures ou égales à fmin et de durées inférieures ou égales à Lmax comme indiqué sur la Figure 3.
Figure 3 sur laquelle sont indiquées les étapes de l'apprentissage typiques de l'art antérieur : un journal d'alarmes 30 est transmis à un module d'apprentissage de chroniques fréquentes 31, à fréquence seuil fmj.n et à taille maximum des contraintes temporelles Lmax 30, qui produit alors les chroniques fréquentes de J : Cl,..., CM en 32.
Il arrive souvent que l'homme du métier ne puisse pas diminuer la fréquence seuil fmin (le second facteur de complexité (ii) évoqué plus haut) en dessous d'un niveau relativement élevé à cause des contraintes de temps du processus d'apprentissage, dans ce cas le risque important c'est de laisser passer des chroniques rares', de fréquences inférieures à fmin , mais qui peuvent être très importantes pour la bonne supervision d'un système dynamique. De tels cas concernent particulièrement les épiphénomènes . Un épiphénomène étant l'apparition d'un motif dans un journal d'alarmes à un taux élevé mais sur des intervalles de temps courts par rapport à la durée du journal, en moyenne le taux d'apparition du motif est par contre très faible et donc aussi sa fréquence, notamment si on la compare à fmin , un tel cas est illustré sur la Figure 4. L'art antérieur ne permet pas d'apprendre les chroniques associées aux épiphénomènes en diminuant, par exemple d'un facteur dix, la fréquence seuil sans faire croître considérablement les temps de calcul. Pour tenter de résoudre ce problème de détection des chroniques de basses fréquences, l'homme du métier, jouant sur le premier facteur (i) de complexité, diminue la taille du journal d'alarmes en se basant sur le fait que, statistiquement, la division par un facteur donné de la taille du journal entraîne la division de la fréquence seuil par un facteur du même ordre de grandeur (pour un temps de traitement similaire) . Cependant cette technique est très difficile à mettre eu œuvre et peut présenter des inconvénients sérieux : si des blocs d'alarmes sont supprimées du journal sans précaution, le risque de supprimer des chroniques, y compris de fréquences élevées, est très grand, ce qui dégrade la supervision et n'est guère acceptable; quant aux épiphénomènes, leurs fréquences chuteront statistiquement encore plus vite que la taille du journal, ce qui ne permettra pas davantage de les découvrir ; si des alarmes sélectionnées sont retirées du journal c'est en général sur la base d'une analyse préalable de ce journal (le plus souvent par des experts) , par exemple en éliminant les alarmes de certaines chroniques, dans ce cas le temps total de traitement augmente de manière importante et, en particulier, peut prohiber une supervision en temps réel.
Ces difficultés rencontrées par l'homme du métier illustrent l'importance pratique considérable du facteur temps pour l'apprentissage et il est clair que le besoin existe de pouvoir réduire le temps d'apprentissage des chroniques, même lorsqu'on ne recherche pas d' épiphénomènes, pour la supervision des systèmes dynamiques ou pour l'acquisition de connaissances (d'expertise) sur ces systèmes.
EXPOSÉ DE L'INVENTION
L'invention vise ainsi à améliorer la vitesse de traitement d'une application d'apprentissage de chroniques d'un journal d'alarmes de façon, en particulier, à autoriser une diminution de la fréquence seuil, pour la recherche de chroniques correspondant à des épiphénomènes, tout en conservant des temps de traitement acceptables .
L'invention met en œuvre des techniques d'analyse de données comme celles relevant de la classification de données (ou « clustering » en anglais) c'est-à-dire des méthodes de groupement de données. Il existe de très nombreux algorithmes qui calculent de tels agrégats ou groupes ou encore grappes de données (des « clusters » en anglais) .
L'invention concerne un procédé d'apprentissage automatique comportant un prétraitement du journal d'alarmes, ne présentant pas les inconvénients de l'art antérieur, qui permet de fabriquer des journaux d'alarmes partiels (de tailles réduites), à partir du journal d'alarmes d'origine, sur chacun desquels un apprentissage est ensuite effectué. Ce *découpage' automatique en journaux partiels doit être intelligent' , en effet un découpage systématique ou aléatoire du journal d'alarmes en blocs d'alarmes n'améliore rien du point de vue des fréquences si la répartition des motifs est aléatoire : ce genre de découpage ne permet pas de faire un apprentissage en basse fréquence' car la fréquence d'un épiphénomène chutera plus vite que la taille du journal.
Le prétraitement de découpage automatique selon l'invention permet de s'assurer que les journaux partiels seront riches en séquences d'alarmes qui se ressemblent, ou sont similaires, du point de vue des alarmes produites .
En particulier, pour ce qui concerne les épiphénomènes, ce prétraitement tend à sélectionner les zones du journal d'alarmes correspondant aux pics de taux d'apparition (voir sur la Figure 4, les pics 41,42,43) tout en diminuant la taille du journal à analyser, ce qui permet d'augmenter la fréquence effective d'un épiphénomène dans le nouveau journal et le rend détectable dès que cette dernière fréquence atteint ou dépasse la fréquence seuil, alors qu'avec un apprentissage fait directement sur le journal d'origine 1' épiphénomène aurait eu une fréquence trop faible: en réduisant la taille, en procédant selon l'invention, on fait passer la fréquence de la chronique rare, correspondant au type de similarité du journal partiel, au dessus du seuil.
Le phénomène essentiel qui est à la base de l'invention c'est que si deux parties, ou séquences d'alarmes, du journal d'alarmes d'origine contiennent des instances de mêmes chroniques alors ces parties doivent être relativement similaires au sens où elles doivent contenir plusieurs éléments en commun et dans un ordre plus ou moins semblable : si chacune de ces parties est décrite par un ensemble de paramètres (constituant une représentation de la partie) , associés à divers aspects de son contenu en alarmes, alors la similarité des parties se traduit par la similarité (ou proximité) des ensembles de paramètres, représentatifs de ces parties, dans l'espace des paramètres. Par contre, si ces parties n'ont pas de chroniques en commun, alors le découpage en parties selon l'invention n'apportera rien de plus par rapport à un apprentissage direct : cependant, dans ce cas, l'avantage de l'invention est qu'elle ne permet pas d'apprendre par erreur.
Plus précisément, dans un mode dit général, l'invention est un procédé d'apprentissage automatique de chroniques fréquentes d'un journal d'alarmes d'un système dynamique, pour la supervision de ce système, les alarmes étant associées à une pluralité d'événements du système d'une pluralité de types, caractérisé en ce qu'il comporte les étapes suivantes : a) de sélection et de regroupement automatiques de séquences d'alarmes du journal d'alarmes de façon à former des groupes de séquences d'alarmes similaires; et b) de génération automatique d'un journal d'alarmes partiel pour chaque groupe de séquences d'alarmes similaires obtenu à l'étape a), à partir des alarmes appartenant aux séquences de ce groupe; et c) d'apprentissage automatique de chroniques fréquentes de chaque journal d'alarmes partiel obtenu à l'étape b) de façon à générer un ensemble partiel de chroniques fréquentes pour chaque journal d'alarmes partiel obtenu à l'étape b) , et de fabrication d'un ensemble de chroniques fréquentes du journal d'alarmes à partir des chroniques fréquentes de chacun des ensembles partiels de chroniques fréquentes obtenus .
Il est possible, par exemple, de former l'ensemble de chroniques fréquentes du journal d'alarmes par union ensembliste des chroniques des ensembles partiels de chroniques fréquentes, ce qui présente l'avantage de n'éliminer aucune des chroniques obtenues lors de chaque apprentissage de journal partiel .
D'autres choix sont bien sûr possibles, l'homme du métier peut, par exemple, décider d'éliminer des chroniques dont la fréquence est inférieure à une fréquence donnée (notamment lorsque la fréquence seuil n'est pas la même pour l'apprentissage des divers journaux partiels), ou encore d'éliminer des chroniques contenant certains types d'alarmes, etc.
Ce mode général est représenté sur la Figure 5 : dans un journal J d'alarmes 50, des séquences d'alarmes 51 sont sélectionnées Si , S2 ,..., Sp puis regroupées 52 en groupes de séquences similaires Gi , G2 ,.., Gr , réalisant ainsi l'étape a) du mode général. Les alarmes des groupes servent ensuite à fabriquer 53 les journaux partiels Ji , J2 ,...,Jr selon l'étape b) du mode général. Puis, conformément à l'étape c) du mode général, un apprentissage de chroniques fréquentes 54 est effectué sur chaque journal partiel Ji transmis et l'ensemble partiel Ε± des chroniques fréquentes de Ji est déterminé 55 ; enfin un ensemble E de chroniques de journal J est constitué 56 à partir des chroniques des divers ensembles partiels Ei .
La comparaison avec la Figure 3 fait clairement ressortir les différences de l'apprentissage de chroniques selon l'art antérieur et selon l'invention : l'apprentissage direct du journal J, en 30 et 31, pour obtenir la totalité des chroniques fréquentes en 32, est remplacé par un séquençage de J, en 51, suivi d'un regroupement de séquences similaires, en 52, permettant de fabriquer des journaux partiels 53 sur lesquels sont effectués autant d'apprentissages partiels' , en 54 et 55, pour ensuite déterminer les chroniques fréquentes du journal J d'origine à partir des chroniques des journaux partiels 56. Le regroupement automatique de séquences similaires est un point essentiel de l'invention car c'est lui qui permet d'obtenir des journaux partiels potentiellement riches en chroniques fréquentes .
L'invention concerne aussi un dispositif pour la mise en œuvre du nouveau procédé décrit plus haut, c'est-à-dire un système d'apprentissage automatique de chroniques fréquentes d'un journal d'alarmes d'un système dynamique, pour la supervision de ce système, comportant des moyens d'acquisition d'alarmes du système dynamique et de génération d'un journal d'alarmes à partir des alarmes acquises, chaque alarme étant associée à un événement du système dynamique parmi une pluralité d'événements d'une pluralité de types et à une date d'occurrence, des moyens de transmission du journal d'alarmes ainsi que des moyens d'apprentissage de chroniques aptes à mettre en œuvre une méthode d'apprentissage automatique de chroniques d'un journal d'alarmes, de fréquences supérieures ou égales à un seuil de fréquence minimum fo réglable et de durée maximum T réglable, et aptes à transmettre les chroniques obtenues, caractérisé en ce qu'il comporte en outre :
- un module de sélection et de regroupement de séquences d'alarmes apte à recevoir un journal d'alarmes et apte à sélectionner et à regrouper des séquences d'alarmes du journal d'alarmes, et apte à former un groupe de séquences d'alarmes similaires et à transmettre ce groupe; - un module de fabrication d'un journal d'alarmes partiel à partir des alarmes d'un groupe de séquences d'alarmes similaires reçu du module de sélection et de regroupement de séquences d' alarmes du journal d'alarmes, le module étant apte à transmettre le journal d'alarmes partiel obtenu aux moyens d'apprentissage de chroniques; un module de fabrication d'un ensemble de chroniques fréquentes du journal d'alarmes, à partir des chroniques transmises par les moyens d'apprentissage de chroniques, le module étant apte à transmettre les chroniques de l'ensemble de chroniques fréquentes .
Ce système d'apprentissage selon l'invention est illustré sur la Figure 6 : le système d'apprentissage 66 est ici représenté en liaison avec le module de diagnostic 16 d'un système de supervision 17 d'un système dynamique 10. Des alarmes 60 sont transmises à des moyens 61 d'acquisition d'alarmes et de génération d'un journal d'alarmes J. Le journal J est transmis à un module M2 de sélection et de regroupement de séquences d' larmes 62. Le module sélectionne des séquences Si , S2 ,.», Sp (en nombre p variable) et forme des groupes de séquences similaires Gi , G2 ,.., Gr (en nombre r variable); il transmet chaque groupe Gk ,pour k variant de 1 à r, à un module M3 de fabrication d'un journal d'alarmes partiel 63. Chaque journal partiel Jk , pour 1 ≤ k ≤ r , est généré à partir des alarmes des séquences du groupe Gk correspondant. Le module M3 transmet chaque journal partiel J aux moyens M4 d'apprentissage de chroniques fréquentes 64, de fréquence minimum fo et de durée maximum T réglables, qui produisent alors un ensemble partiel Ek de chroniques fréquentes de J contenant un nombre M(k) , variable suivant l'indice k, de chroniques désignées par Ci(k> ,...,CM<k) . Enfin, un module M5 de fabrication d'un ensemble de chroniques 65, génère un ensemble E de chroniques de J à partir des chroniques de tous les ensembles partiels E transmis par le module M4. Le module M5 transmet alors les chroniques Ci ,...,CM de E pour leur exploitation par le système de supervision. L'homme du métier notera que, dans les systèmes d'apprentissage des systèmes de supervision de l'art antérieur, les modules M2, M3 sont absents et que le module Ml transmet directement le journal J au moyens d'apprentissage M4 qui fabriquent directement l'ensemble E (le module M5 est donc aussi absent) .
BRÈVE DESCRIPTION DES DESSINS
Les caractéristiques et avantages de l'invention exposée ci-dessus, ainsi que d'autres qui ressortiront de la description suivante de modes particuliers de réalisation, donnés à titre d'exemples, apparaissent davantage en se référant aux dessins annexés, sur lesquels : - la Figure 1 est un schéma logique d'un système de supervision d'un système dynamique comme indiqué ci- dessus .
- la Figure 2 représente un exemple de chronique mettant en jeu des événements de trois types a,b et c. la Figure 3 est un schém -bloc montrant l'apprentissage de chroniques fréquentes de l'art antérieur. la Figure 4 représente une courbe du taux d'apparition σ (en ordonnée) d'un motif, en fonction du temps t (en abscisse), typique d'un épiphénomène. Des pics caractéristiques 41, 42 et 43 sont indiqués. la Figure 5 est un schéma-bloc montrant l'apprentissage de chroniques fréquentes selon l'invention dans son mode général.
- la Figure 6 est un schéma-bloc montrant un système d'apprentissage selon l'invention, dans un système de supervision d'un système dynamique.
EXPOSE DETAILLE DE MODES DE REALISATION PARTICULIERS
La sélection automatique de séquences d'alarmes au sein du journal d'alarmes, à l'étape a) du mode général de l'invention, est une étape importante du procédé qui peut être effectuée de bien des façons : par exemple, il est possible de prendre autant de séquences que d'alarmes dans le journal, chaque séquence contenant donc une alarme, mais dans ce cas le nombre de séquences à regrouper est alors considérable. Avantageusement, dans un mode dit avec découpage, à l'étape a) du procédé d'apprentissage de chroniques selon l'invention, la sélection automatique de séquences d'alarmes est effectuée au moyen d'un découpage automatique du journal d'alarmes en parties, chaque partie étant formée d'alarmes du journal d'alarmes dont les dates d'occurrence sont ordonnées dans le temps et sont comprises entre une date de début et une date de fin associées à cette partie du journal, chaque partie du journal d'alarmes définissant une séquence d' alarmes sélectionnée dont les alarmes sont celles qui appartiennent à cette partie. Ce mode peut donc être mis en œuvre pour réaliser la sélection de séquences de l'étape a) du mode général.
Le découpage du journal d'alarmes en parties, ou par tranches de temps, peut être réalisé selon de nombreuses modalités différentes : à titre d'exemples non limitatifs, les parties peuvent être de tailles (en nombre d'alarmes contenues) différentes ou bien identiques, elles peuvent avoir la même durée ou bien des durées variables, elles peuvent être disjointes ou bien avoir des alarmes en commun, elles peuvent constituer dans leur ensemble une partition du journal d'alarmes ou bien, au contraire, ne pas prendre en compte certaines alarmes, etc. Avantageusement, l'union ensembliste des parties du journal d'alarmes reconstituera le journal de façon à ne pas perdre des alarmes pouvant appartenir à des instances de chroniques à ce stade du procédé d'apprentissage : toute alarme du journal appartiendra alors à au moins une des parties du journal.
Selon un mode particulier de l'invention, dit mode avec découpage complet, le découpage précédent du journal d'alarmes en parties est tel que toute alarme du journal d'alarmes appartient à au moins une des parties du journal d'alarmes. Ce mode présentant l'avantage de n'éliminer aucune alarme du journal d'alarmes lors du découpage. Ce mode, mis en œuvre avec le mode avec découpage, peut être utilisé pour réaliser la sélection de séquences a l'étape a) du mode général.
Le regroupement, à l'étape a), des séquences sélectionnées qui présentent des similarités peut être effectué à l'aide d'une mesure de similarité sur un espace dans lequel chaque séquence d' alarmes est décrite par un ensemble de paramètres qui peut être vu comme définissant des coordonnées d'un point dans cet espace appelé espace de représentation des séquences . Chaque paramètre d'une séquence, ou coordonnée du point représentatif de la séquence dans l'espace des représentations, est associé à la description du contenu en alarmes de la séquence en termes d'un type d'alarme donné. Ainsi, si l'on dispose de A types distincts d' alarmes pour décrire le contenu des séquences d'alarmes, l'espace de représentation des séquences est à A dimensions. La valeur d'une coordonnée d'une séquence correspond quant à elle au poids de la séquence en alarmes du type associé à cette coordonnée.
L'importance du choix d'une représentation des données, préalablement aux opérations de regroupement de ces données, est bien connue des spécialistes en classification de données. Il existe un très grand nombre de représentations possibles pour des données, suivant les caractéristiques qui leur sont attachées : cette variété de représentations se traduit en particulier par des dimensions différentes de l'espace de représentation. L'un des modes particuliers de l'invention utilise une représentation, dite pondérée, dans laquelle chaque séquence d' alarmes sélectionnée à l'étape a) du procédé est représentée, dans l'espace de représentation de dimension A, par un point ayant A coordonnées, la coordonnée de rang j, où j désigne un indice entier quelconque compris entre 1 et A, est égale au nombre de fois où le type d'alarme associé à l'indice j figure dans la séquence d'alarmes.
L'homme du métier sait- que la mesure de similarité, mentionnée plus haut, utilisée pour calculer les regroupement de séquences à partir des mesures de proximité' des séquences dans l'espace de représentation, notamment dans les algorithmes de groupement des méthodes de classification, est à prendre au sens mathématique c'est-à-dire que cette mesure n' est pas obligatoirement une distance (elle peut ne pas respecter l'inégalité triangulaire et on parle alors de semi-métrique, par exemple la mesure en cosinus qui mesure le cosinus de l'angle entre deux vecteurs dont les composantes sont les coordonnées, respectivement, des points représentatifs de deux séquences considérées) . Cependant, le plus souvent, cette mesure de similarité est une distance et permet donc de munir l'espace de représentation d'une métrique. A titre d'exemples, non limitatifs, de métriques citons la métrique (ou distance) de Minkowski
(qui contient comme cas particuliers la distance Euclidienne et la distance λCity-block' encore appelée distance de Manhattan), la distance de Mahalanobis, la distance de Chebychev, etc...
Les points, représentant les séquences d'alarmes, les plus proches entre eux dans l'espace de représentation des séquences forment des grappes et chaque grappe correspond à un groupe de séquences dites similaires. Le critère de proximité de deux points de l'espace de représentation étant que si la mesure de similarité de ces points est inférieure ou égale à une valeur seuil donnée alors les deux points appartiennent à la même grappe, et si la mesure de similarité de ces points est supérieure à la valeur seuil alors les deux points appartiennent à des grappes distinctes.
Il existe à ce jour de très nombreux algorithmes de groupement de données, certains assurent même l'invariance (par transformations linéaires) des grappes grâce à une normalisation préalable des données .
Dans un mode de réalisation avantageux de l'invention, dit mode avec groupement de séquences, à l'étape a) du procédé, le regroupement automatique des séquences d'alarmes, pour former des groupes de séquences d'alarmes similaires, est réalisée au moyen d'une méthode de groupement. Ce mode peut donc être mis en œuvre pour réaliser le regroupement à l'étape a) du mode général, et il peut aussi être utilisé conjointement soit avec le mode avec découpage soit avec le mode avec découpage complet pour la réalisation de l'étape a) du mode général. Le choix de la représentation des séquences d'alarmes conditionne à la fois la pertinence des regroupements de séquences et la complexité des calculs de mesures de similarité à effectuer (du fait du nombre de dimensions de l'espace de représentation associé) . Le contenu d'une séquence d'alarmes du journal d' alarmes peut être décrit de manière plus ou moins exhaustive : par exemple si le journal contient N types d'alarmes distincts alors il est possible de décrire le contenu en alarmes de la séquence sur la base de ces N types d'alarmes, mais on peut aussi choisir de décrire ce contenu sur la base d'un nombre inférieur de types d'alarmes et dans ce cas certaines alarmes (bien que figurant toujours dans la séquence) , correspondant à des types absents de la représentation, ne seront pas décrites ; dans ce dernier cas cependant, la dimension de l'espace de représentation est réduite, ce qui est avantageux du point de vue de la complexité des calculs de regroupement .
Ainsi, dans un mode particulier du procédé d'apprentissage selon l'invention, dit mode avec sélection de types, à l'étape a), la formation des groupes de séquences d'alarmes similaires est effectuée au moyen des étapes suivantes consistant à: représenter chacune des séquences d'alarmes du journal d'alarmes par son contenu, sur la base d'un ensemble de types d'alarmes à A éléments pris parmi les types d'alarmes distincts du journal d'alarmes, en nombre supérieur ou égal à A, dans un espace de représentation des séquences d'alarmes de dimension A; et - regrouper automatique ment de s séquences d'alarmes du journal d'alarmes, dans l'espace de représentation des séquences d'alarmes, de façon à former des groupes de séquences d' alarmes similaires . Ce mode est dépendant du mode général ou du mode avec découpage ou du mode avec découpage complet ou du mode avec groupement de séquences.
En particulier, ce mode avec sélection de types peut avantageusement utiliser la représentation pondérée des séquences d'alarmes décrite plus haut. Ce mode avec sélection de types peut donc être mis en œuvre pour réaliser la formation de groupes à l'étape a) du mode général, et il peut aussi être utilisé conjointement soit avec le mode avec découpage soit avec le mode avec découpage complet soit encore avec le mode avec groupement de séquences, éventuellement combiné avec l'un des deux modes précédents, pour la réalisation de l'étape a) du mode général.
La simple élimination de certains des types d'alarmes présents dans le journal d'alarmes a pour inconvénient que certaines alarmes (des types éliminés) ne sont pas décrites. Pour décrire toutes les alarmes tout en réduisant le nombre de dimensions de l'espace de représentation des séquences d'alarmes, il est par exemple possible de d'abord regrouper des types d'alarmes du journal d'alarmes qui sont similaires, en particulier à l'aide d'une méthode de groupement, pour fabriquer des groupes de types d'alarmes (le nombre S de groupes étant inférieur ou égal au nombre N initial de types d'alarmes), puis de décrire le contenu des séquences d'alarmes sur la base de ces S groupes de types d'alarmes. Ainsi le nombre de dimension de l'espace de représentation est réduit à S, ce qui est avantageux pour les calculs de regroupement, et, de plus, toute alarme d'une séquence quelconque pourra toujours être décrite car son type figure dans au moins un des S groupes de types.
Un exemple simple de réduction du nombre de types a été donné plus haut pour un réseau de télécommunications : les deux types d' alarmes « perte de signal » et « perte de trame de transmission » peuvent être décrits par un type de niveau supérieur (résultant, le plus souvent, d'un lien fonctionnel entre les types considérés) qui est « panne de transmission ». Comme dans le cas général du traitement de données (ici les données sont des types d'alarmes du journal d'alarmes), on associe à la description des types un espace de représentation.
L'homme du métier notera que tout ce qui est présenté sur les séquences d'alarmes et le découpage d'un journal d'alarmes ainsi que les divers traitements de ces entités peut se transposer, par analogie, aux types d'alarmes dès que l'on dispose d'une représentation de ces types ou des séquences de types .
II est aussi possible d'éliminer certains des S groupes précédents pour n'en retenir qu'un nombre réduit S', l'espace de représentation étant alors de dimension S'. Ces méthodes de réduction de l'espace de représentation par regroupement de types sont alors combinées avec une regroupement ultérieur des séquences d'alarmes pour former des groupes de séquences d'alarmes similaires permettant de générer les journaux partiels de l'étape b) du procédé d'apprentissage selon 1' invention.
C'est ainsi que dans un mode particulier de réalisation du procédé d'apprentissage selon l'invention, dit mode avec regroupement de types, à l'étape a), la formation des groupes de séquences d'alarmes similaires est effectuée au moyen des étapes suivantes consistant à: - regrouper automatiquement des types d'alarmes du journal d'alarmes de façon à former des groupes de types d'alarmes similaires, le résultat du regroupement étant un nombre S de groupes de types d'alarmes; et - représenter chacune des séquences d'alarmes du journal d'alarmes par son contenu, sur la base de groupes de types d'alarmes, en nombre S' inférieur ou égal à S, obtenus à l'étape précédente, dans un espace de représentation des séquences d'alarmes de dimension S'; et
- regrouper automatique ment de s séquences d'alarmes du journal d'alarmes, dans l'espace de représentation des séquences d'alarmes, de façon à former des groupes de séquences d'alarmes similaires. Le mode avec regroupement de types peut donc être mis en œuvre pour réaliser la formation de groupes à l'étape a) du mode général, et il peut aussi être utilisé conjointement soit avec le mode avec découpage soit avec le mode avec découpage complet soit encore avec le mode avec groupement de séquences, éventuellement combiné avec l'un des deux modes précédents, pour la réalisation de l'étape a) du mode général .
En particulier, le regroupement automatique des séquences d' alarmes du mode avec regroupement de types peut consister à former automatiquement des groupes de séquences similaires du journal d'alarmes, chaque groupe de séquences similaires étant associé à un groupe de types d' alarmes et résultant de la sélection des séquences d'alarmes du journal d'alarmes dont la teneur en alarmes de mêmes types que ceux du groupe de types considéré dépasse un seuil donné pour ce groupe. Cette méthode de regroupement présente l'avantage d'être très simple à mettre en œuvre.
Dans un mode particulier de réalisation du procédé d'apprentissage selon l'invention, dit mode avec regroupement de types avec seuils, à l'étape a), la formation des groupes de séquences d'alarmes similaires est effectuée au moyen des étapes suivantes consistant à: - regrouper automatiquement des types d'alarmes du journal d'alarmes de façon à former des groupes de types d'alarmes similaires, le résultat du regroupement étant un nombre S de groupes de types d'alarmes; et - représenter chacune des séquences d'alarmes du journal d'alarmes par son contenu, sur la base de groupes de types d'alarmes, en nombre S' inférieur ou égal à S, obtenus à l'étape précédente, dans un espace de représentation des séquences d'alarmes de dimension S'; et former automatiquement des groupes de séquences similaires du journal d'alarmes, chaque groupe de séquences similaires étant associé à un groupe de types d'alarmes et résultant de la sélection des séquences d'alarmes du journal d'alarmes dont la teneur en alarmes de mêmes types que ceux du groupe de types considéré dépasse un seuil donné pour ce groupe.
Le mode de regroupement de types avec seuils peut donc être mis en œuvre pour réaliser la formation de groupes à l'étape a) du mode général, et il peut aussi être utilisé conjointement soit avec le mode avec découpage soit avec le mode avec découpage complet pour la réalisation de l'étape a) du mode général .
Il est aussi possible, dans un mode particulier dit mode avec groupement de types, de procéder au regroupement de types d'alarmes, dans le mode avec regroupement de types ou dans le mode avec regroupement de types avec seuils, en mettant en œuvre une méthode de groupement portant sur des types d'alarmes du journal d'alarmes pour former des groupes de types d'alarmes similaires. Pour cela il suffit à l'homme du métier de choisir un espace de représentation de ces types d'alarmes, dont il peut d'ailleurs réduire le nombre de dimensions selon diverses méthodes décrites plus haut mais appliquées aux types, et une mesure de similarité pour pouvoir ensuite utiliser l'un des nombreux algorithmes de groupement existant (citons, à titre d'exemples non limitatifs, les algorithmes de : Groupement Hiérarchique Ascendant, « K-Means » ou K-moyennes, « Fuzzy K-Means » ou K-moyennes floues, Mélange de Gaussiennes, GTM « Générative Topographie Mapping », GSOM « Generative Self Organizing Map » [7], Carte de Kohonen [9], Cartes auto-organisatrices de Kohonen [8,9], etc.) .
Dans des modes particuliers du procédé d'apprentissage selon l'invention, ce regroupement automatique des types d'alarmes au moyen d'une méthode de groupement évoqué précédemment ( dans le mode avec groupement de types) est avantageusement effectué soit par une méthode de groupement à base de carte sémantique des types d'alarmes (c'est-à-dire que chaque alarme est traitée comme une suite de symboles, ou texte, et on effectue le groupement de ces suites) soit par une méthode de groupement basée sur le profil d'accumulation dans le temps (normalisé ou non), dans le journal d'alarmes, de chaque type d'alarmes.
Dans tous les modes de réalisation de l'invention, il est bien sûr possible d'effectuer, à l'étape c) du procédé, l'apprentissage de chroniques sur les journaux d'alarmes partiels obtenus à l'issu de l'étape b) du procédé par une suite d'opérations exécutées en série sur un calculateur.
Cependant, dans une réalisation avantageuse de l'invention permettant de diminuer encore le temps de traitement et compatible avec les divers modes décrits, ces opérations d'apprentissage de l'étape c) sont exécutées en parallèle sur un calculateur. Ce sont, en effet, ces opérations d'apprentissage de chroniques qui prennent le plus de temps parmi toutes les opérations liées aux autres étapes du procédé selon l'invention ; cependant, il est clair que ces dernières opérations peuvent aussi être effectuées en parallèle pour gagner du temps .
Le mode préféré de réalisation de l'invention, développé et utilisé pour la supervision d'un système de télécommunications, met en œuvre sur un calculateur, pour l'étape a) du mode général, un découpage du journal d'alarmes selon le mode avec découpage dans lequel les parties ou ^tranches horaires' découpées ont toutes la même durée σ = 2*T, où T désigne la durée maximum des chroniques à apprendre qui est fixée pour l'exécution de l'étape c) du procédé, le découpage étant tel que deux parties consécutives quelconques présentent un recouvrement temporel de valeur T. Ce découpage particulier est tel que si, statistiquement, une instance quelconque d'une chronique (de longueur maximum T) est présente dans J alors elle est présente dans au moins une partie de J.
Le journal d'alarmes J sur lequel on applique le procédé selon l'invention est découpé en p parties couvrant la totalité des alarmes du journal, que l'on peut supposer consécutives sans restreindre la généralité ; notons σ± , pour 1 ≤ i ≤ p, la i-ème partie du journal, alors les dates de début et de fin associées à cette partie, respectivement Di et Fi , vérifient : Di = D + T* (i-1)
Fi = Di + σ , où D désigne la date de début du journal d' alarmes J, et pour la (i+l)ième partie suivante, de dates de début et de fin, respectivement, Di+i et Fι+ι vérifient :
Di+ι = D + T*i ≈ Di + T Fi+ι = Di+ι + σ = Fi + T .
Ce découpage est donc aussi conforme au mode avec découpage complet comme on peut le vérifier facilement.
On procède alors à une classification de l'ensemble des σi , i variant de 1 à p, en r groupes Gk , 1 ≤ k ≤ r, à l'aide d'une méthode de groupement à base de cartes de Kohonen ; chaque groupe G (avec: 1 ≤ k ≤ r) de parties (ou séquences d'alarmes correspondantes) similaires comprenant un nombre variable de parties (ou séquences d'alarmes) . Cette dernière étape de classification relève donc du mode avec groupement de séquences. Dans une variante avantageuse du mode préféré, la représentation pondérée est utilisée pour décrire les parties de J av'ec un espace de représentation comportant autant de dimensions que le journal J comporte de types d'alarmes distincts.
A l'étape b) , un journal d'alarmes partiel Jk est fabriqué pour chaque groupe correspondant Gk à partir de l'union ensembliste des parties, ou séquences d'alarmes correspondantes, du groupe. Ainsi aucune séquence d'alarmes d'un groupe quelconque n'est omise. Enfin à l'étape c) , un apprentissage automatique de chroniques fréquentes est effectué au moyen du logiciel d'apprentissage FACE sur chacun des journaux d'alarmes partiels Jk , 1 ≤ k ≤ r, obtenus précédemment. Pour chaque journal partiel Jk on obtient donc un ensemble partiel Ek constitué des M(k) chroniques fréquentes distinctes de J : E = {Cι< ) ,...,CM(k)} (où Cm(k) , l≤m(k)≤M(k), désigne une chronique de Jk ). Le résultat final étant l'ensemble E des chroniques fréquentes de J, E étant formé par l'union ensembliste de tous les ensembles partiels Ek , pour k = X, ..., r
Le logiciel FACE [4,6] est un outil d'apprentissage particulièrement bien adapté aux alarmes et chroniques produites par des systèmes de télécommunication; dans des variantes du mode préféré, cependant, d'autres logiciels d'apprentissage sont mis en œuvre à l'étape c) .
Les chroniques obtenues serviront ensuite au module de diagnostic d'un système de supervision pour l'identification des situations caractéristiques du comportement du système dynamique supervisé.
De manière générale, dans le procédé d'apprentissage de chroniques fréquentes d'un journal d'alarmes selon le mode préféré : on fixe une durée maximum T des chroniques à apprendre à l'étape c) ; et,
- à l'étape a), la différence entre la date de fin et la date de début de toute partie du journal d'alarmes est égale à 2*T ; et, les parties sont découpées dans le journal d'alarmes de façon à ce que, pour une partie quelconque donnée de date de début D' , la partie dont la date de début ultérieure D' ' est la plus proche de D' , si elle existe, est telle que sa date de début D' ' est égale à la date D' augmentée de T ; et, le regroupement automatique de l'ensemble des séquences d'alarmes du journal d'alarmes obtenues est réalisé au moyen d'un algorithme à base de cartes auto- organisatrices de Kohonen ; et à l'étape b) , pour chaque groupe de séquences d'alarmes similaires obtenu à l'étape a), un journal d'alarmes partiel est fabriqué à partir de l'union ensembliste des séquences d'alarmes du groupe de séquences d'alarmes similaires ; et
- à l'étape c) , l'apprentissage automatique des chroniques est réalisé au moyen du système d'apprentissage FACE. Le mode préféré est un mode dépendant du mode avec découpage complet et du mode avec groupement de séquences.
REFERENCES
[1] : H.Mannila, H.Toivonen, A.I.Verkamo : ΛDiscovering fréquent épisodes in séquences', in Proc.lst International Conférence on Knowledge Discovery and Data Mining, pages 210-215, Montréal, Québec,
Canada (1995) .
[2] : H.Mannila, H.Toivonen : ^Multiple uses of fréquent sets and condensed représentations' , in
Proc.2nd International Conférence on Knowledge
Discovery and Data Mining, pages 189-194,
Portland, Oregon, USA (1996) . [3] : R.Agrawal, H.Mannila, R.Srikant, H.Toivonen, A.I.Verkamo : ΛFast discovery of association rules' in Advances in Knowledge Discovery and Data Mining, pages 307-328, AAAI Press/ the MIT Press (1996) .
[4] : T.Vu Duong : λDécouverte de chroniques à partir de journaux d'alarmes. Application à la supervision de réseaux de télécommunications' , Thèse en informatique et télécommunications, Institut National Polytechnique de Toulouse, soutenue publiquement le 28 mars 2001.
[5] : R.Dechter, I.Meiri, J.Pearl : ΛTemporal constraint networks' , in Artificial Intelligence, Spécial Volume on Knowledge Représentation, 49 (1- 3), 61-95 (1991). Elsevier.
[6] : C.Dousson, T.Vu Duong : λDiscovering chronicles with numerical time constraints from alarm logs for monitoring dynamic Systems', in Proc. Of the
6th International Joint Conférence on Artificial
Intelligence (IJCAI 99), pp.620-626, (1999) .
[7] : J.J.Verbeek, N.Vlassis, and B.J.A.Krôse : λThe Generative Self-Organizing Map' , IAS technical report IAS-UVA-02-03, May 2002 (website : http : //ww . science . uva. nl/research/ias/ publications/reports/) . [8]: M.Dittenbach, D.Merkl, A.Rauber: The growing hierarchical self-organizing map' , in International Joint Conférence on Neural Networks (IJCNN 2000) , volume vi, pages 15-19, Como,
Italy, IEEE Computer Society (2000) .
[9]: T.Kohonen: Self-Organizing Map', third édition (2002), Springer-Verlag.

Claims

REVENDICATIONS
1. Procédé d'apprentissage automatique de chroniques fréquentes d'un journal d'alarmes, les alarmes étant associées à une pluralité d'événements d'une pluralité de types, caractérisé en ce qu'il comporte les étapes suivantes : a) de sélection et de regroupement automatiques de séquences d'alarmes du journal d'alarmes de façon à former des groupes de séquences d'alarmes similaires ; et b) de génération automatique d'un journal d'alarmes partiel pour chaque groupe de séquences d'alarmes similaires obtenu à l'étape a), à partir des alarmes appartenant aux séquences de ce groupe ; et c) d'apprentissage automatique de chroniques fréquentes de chaque journal d'alarmes partiel obtenu à l'étape b) de façon à générer un ensemble partiel de chroniques fréquentes pour chaque journal d'alarmes partiel obtenu à l'étape b) , et de fabrication d'un ensemble de chroniques fréquentes du journal d'alarmes à partir des chroniques fréquentes de chacun des ensembles partiels de chroniques fréquentes obtenus .
2. Procédé selon la revendication 1 dans lequel, à l'étape a), la sélection automatique de séquences d'alarmes est effectuée au moyen d'un découpage automatique du journal d'alarmes en parties, chaque partie étant formée d'alarmes du journal d'alarmes dont les dates d'occurrence sont ordonnées dans le temps et sont comprises entre une date de début et une date de fin associées à cette partie du journal, chaque partie du journal d'alarmes définissant une séquence d'alarmes sélectionnée dont les alarmes sont celles qui appartiennent à cette partie.
3. Procédé selon la revendication 2 dans lequel le découpage du journal d'alarmes en parties est tel que toute alarme du journal d'alarmes appartient à au moins une des parties du journal d'alarmes.
4. Procédé selon l'une quelconque des revendications 1 à 3 dans lequel, à l'étape a), le regroupement automatique des séquences d'alarmes, pour former des groupes de séquences d'alarmes similaires, est réalisée au moyen d' une méthode de groupement .
5. Procédé selon l'une quelconque des revendications 1 à 4 dans lequel , à l'étape a), la formation des groupes de séquences d'alarmes similaires est effectuée au moyen des étapes suivantes consistant à :
- représenter chacune des séquences d'alarmes du journal d'alarmes par son contenu, sur la base d'un ensemble de types d'alarmes à A éléments pris parmi les types d'alarmes distincts du journal d'alarmes, en nombre supérieur ou égal à A, dans un espace de représentation des séquences d'alarmes de dimension A; et - regrouper automatiquement des séquences d'alarmes du journal d'alarmes, dans l'espace de représentation des séquences d'alarmes, de façon à former des groupes de séquences d'alarmes similaires.
6. Procédé selon la revendication 5 dans lequel chaque séquence d'alarmes sélectionnée à l'étape a) est représentée, dans l'espace de représentation de dimension A, par un point ayant A coordonnées, la coordonnée de rang j, où j désigne un indice entier quelconque compris entre 1 et A, est égale au nombre de fois où le type d'alarme associé à l'indice j figure dans la séquence d' larmes .
7. Procédé selon l'une quelconque des revendications 1 à 4 dans lequel, à l'étape a), la formation des groupes de séquences d'alarmes similaires est effectuée au moyen des étapes suivantes consistant à :
- regrouper automatiquement des types d'alarmes du journal d'alarmes de façon à former des groupes de types d'alarmes similaires, le résultat du regroupement étant un nombre S de groupes de types d'alarmes; et
- représenter chacune des séquences d'alarmes du journal d'alarmes par son contenu, sur la base de groupes de types d'alarmes, en nombre S' inférieur ou égal à S, obtenus à l'étape précédente, dans un espace de représentation des séquences d'alarmes de dimension S'; et
- regrouper automatiquement des séquences d'alarmes du journal d'alarmes, dans l'espace de représentation des séquences d'alarmes, de façon à former des groupes de séquences d'alarmes similaires.
8. Procédé selon l'une quelconque des revendications 1 à 3 dans lequel, à l'étape a), la formation des groupes de séquences d'alarmes similaires est effectuée au moyen des étapes suivantes consistant à:
- regrouper automatiquement des types d'alarmes du journal d'alarmes de façon à former des groupes de types d'alarmes similaires, le résultat du regroupement étant un nombre S de groupes de types d'alarmes; et
- représenter chacune des séquences d'alarmes du journal d'alarmes par son contenu, sur la base de groupes de types d'alarmes, en nombre, S' inférieur ou égal à S, obtenus à l'étape précédente, dans un espace de représentation des séquences d'alarmes de dimension S'; et - former automatiquement des groupes de séquences similaires du journal d'alarmes, chaque groupe de séquences similaires étant associé à un groupe de types d'alarmes et résultant de la sélection des séquences d'alarmes du journal d'alarmes dont la teneur en alarmes de mêmes types que ceux du groupe de types considéré dépasse un seuil donné pour ce groupe.
9. Procédé selon l'une quelconque des revendications 7 ou 8 dans lequel, à l'étape a), l'étape de regroupement automatique de types d'alarmes, pour former des groupes de types d'alarmes similaires, est réalisée au moyen d'une méthode de groupement.
10. Procédé selon la revendication 9 dans lequel, à l'étape a), le regroupement automatique des types d'alarmes similaires du journal d'alarmes est effectué au moyen d'une méthode de groupement à base de carte sémantique des types d' alarmes .
11. Procédé selon la revendication 9 dans lequel, à l'étape a), le regroupement automatique des types d'alarmes similaires du journal d'alarmes est effectué au moyen d'une méthode de groupement basée sur le profil d'accumulation dans le temps, dans le journal d'alarmes, de chaque type d'alarme.
12. Procédé selon l'une quelconque des revendications 1 à 11 dans lequel, à l'étape c) , l'apprentissage sur les journaux d'alarmes partiels obtenus à l'étape b) est effectué en série.
13. Procédé selon l'une quelconque des revendications 1 à 11 dans lequel, à l'étape c) , l'apprentissage sur les journaux d'alarmes partiels obtenus à l'étape b) est effectué en parallèle.
14. Procédé selon les revendications 3 et 4 dans lequel :
- on fixe une durée maximum T des chroniques à apprendre à l'étape c) ; et, - à l'étape a), la différence entre la date de fin et la date de début de toute partie du journal d'alarmes est égale à 2*T ; et, les parties sont découpées dans le journal d'alarmes de façon à ce que, pour une partie quelconque donnée de date de début D' , la partie dont la date de début ultérieure D' ' est la plus proche de D' , si elle existe, est telle que sa date de début D' ' est égale à la date D' augmentée de T ; et, la regroupement automatique de l'ensemble des séquences d'alarmes du journal d'alarmes obtenues est réalisé au moyen d'un algorithme à base de cartes autoorganisatrices de Kohonen ; et,
- à l'étape b) , pour chaque groupe de séquences d'alarmes similaires obtenu à l'étape a), un journal d'alarmes partiel est fabriqué à partir de l'union ensembliste des séquences d'alarmes du groupe de séquences d'alarmes similaires ; et,
- à l'étape c) , l'apprentissage automatique des chroniques est réalisé au moyen du système d' apprentissage FACE .
15. Système d'apprentissage automatique de chroniques fréquentes d'un journal d'alarmes, comportant des moyens d'acquisition d'alarmes et de génération d'un journal d'alarmes à partir des alarmes acquises, chaque alarme étant associée à un événement parmi une pluralité d'événements d'une pluralité de types et à une date d'occurrence, des moyens de transmission du journal d'alarmes ainsi que des moyens d'apprentissage de chroniques aptes à mettre en œuvre une méthode d'apprentissage automatique de chroniques fréquentes d'un journal d'alarmes, de fréquences supérieures ou égales à un seuil de fréquence minimum f0 réglable et de durée maximum T réglable, et aptes à transmettre les chroniques obtenues, caractérisé en ce qu'il comporte en outre :
- un module de sélection et de regroupement de séquences d'alarmes apte à recevoir un journal d'alarmes et apte à sélectionner et à regrouper des séquences d'alarmes du journal d'alarmes, et apte à former un groupe de séquences d'alarmes similaires et à transmettre ce groupe; et,
- un module de fabrication d'un journal d'alarmes partiel à partir des alarmes d'un groupe de séquences d' alarmes similaires reçu du module de sélection et de regroupement de séquences d'alarmes du journal d'alarmes, le module étant apte à transmettre le journal d'alarmes partiel obtenu aux moyens d'apprentissage de chroniques; et, - un module de fabrication d'un ensemble de chroniques fréquentes du journal d'alarmes, à partir des chroniques transmises par les moyens d'apprentissage de chroniques, le module étant apte à transmettre les chroniques de l'ensemble de chroniques fréquentes.
PCT/FR2004/050205 2003-05-27 2004-05-25 Procede d'apprentissage automatique de chroniques frequentes dans un journal d'alarmes pour la supervision de systemes dynamiques WO2004107652A1 (fr)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US10/554,303 US7388482B2 (en) 2003-05-27 2004-05-25 Method for the machine learning of frequent chronicles in an alarm log for the monitoring of dynamic systems
EP04785574A EP1627494A1 (fr) 2003-05-27 2004-05-25 Procede d apprentissage automatique de chroniques frequentes dans un journal d alarmes pour la supervision de systemes d ynamiques

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR0350181A FR2855634B1 (fr) 2003-05-27 2003-05-27 Procede d'apprentissage automatique de chroniques frequentes dans un journal d'alarmes pour la supervision de systemes dynamiques
FR0350181 2003-05-27

Publications (1)

Publication Number Publication Date
WO2004107652A1 true WO2004107652A1 (fr) 2004-12-09

Family

ID=33427711

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/FR2004/050205 WO2004107652A1 (fr) 2003-05-27 2004-05-25 Procede d'apprentissage automatique de chroniques frequentes dans un journal d'alarmes pour la supervision de systemes dynamiques

Country Status (4)

Country Link
US (1) US7388482B2 (fr)
EP (1) EP1627494A1 (fr)
FR (1) FR2855634B1 (fr)
WO (1) WO2004107652A1 (fr)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8782654B2 (en) 2004-03-13 2014-07-15 Adaptive Computing Enterprises, Inc. Co-allocating a reservation spanning different compute resources types
EP2341431A1 (fr) 2004-03-13 2011-07-06 Adaptive Computing Enterprises, Inc. Système et procédé pour auto-optimiser la réservation du temps de ressources informatiques
US20070266388A1 (en) 2004-06-18 2007-11-15 Cluster Resources, Inc. System and method for providing advanced reservations in a compute environment
US8176490B1 (en) 2004-08-20 2012-05-08 Adaptive Computing Enterprises, Inc. System and method of interfacing a workload manager and scheduler with an identity manager
WO2006053093A2 (fr) 2004-11-08 2006-05-18 Cluster Resources, Inc. Systeme et procede fournissant des executions de systeme au sein d'un environnement informatique
US8863143B2 (en) 2006-03-16 2014-10-14 Adaptive Computing Enterprises, Inc. System and method for managing a hybrid compute environment
US9231886B2 (en) 2005-03-16 2016-01-05 Adaptive Computing Enterprises, Inc. Simple integration of an on-demand compute environment
EP3203374B1 (fr) 2005-04-07 2021-11-24 III Holdings 12, LLC Accès sur demande à des ressources informatiques
US20090030752A1 (en) * 2007-07-27 2009-01-29 General Electric Company Fleet anomaly detection method
US8041773B2 (en) 2007-09-24 2011-10-18 The Research Foundation Of State University Of New York Automatic clustering for self-organizing grids
US11720290B2 (en) 2009-10-30 2023-08-08 Iii Holdings 2, Llc Memcached server functionality in a cluster of data processing nodes
US10877695B2 (en) 2009-10-30 2020-12-29 Iii Holdings 2, Llc Memcached server functionality in a cluster of data processing nodes
US10217056B2 (en) * 2009-12-02 2019-02-26 Adilson Elias Xavier Hyperbolic smoothing clustering and minimum distance methods
US9122995B2 (en) 2011-03-15 2015-09-01 Microsoft Technology Licensing, Llc Classification of stream-based data using machine learning
US9355477B2 (en) 2011-06-28 2016-05-31 Honeywell International Inc. Historical alarm analysis apparatus and method
FR2991066B1 (fr) * 2012-05-28 2015-02-27 Snecma Systeme de traitement d'informations pour la surveillance d'un systeme complexe
US9117170B2 (en) * 2012-11-19 2015-08-25 Intel Corporation Complex NFA state matching method that matches input symbols against character classes (CCLs), and compares sequence CCLs in parallel
WO2014129983A1 (fr) 2013-02-21 2014-08-28 Thai Oil Public Company Limited Procédés, systèmes et dispositifs de gestion d'une pluralité d'alarmes
US10311356B2 (en) * 2013-09-09 2019-06-04 North Carolina State University Unsupervised behavior learning system and method for predicting performance anomalies in distributed computing infrastructures
US9697100B2 (en) 2014-03-10 2017-07-04 Accenture Global Services Limited Event correlation
US10635096B2 (en) 2017-05-05 2020-04-28 Honeywell International Inc. Methods for analytics-driven alarm rationalization, assessment of operator response, and incident diagnosis and related systems
US10747207B2 (en) 2018-06-15 2020-08-18 Honeywell International Inc. System and method for accurate automatic determination of “alarm-operator action” linkage for operator assessment and alarm guidance using custom graphics and control charts
EP3885861A1 (fr) * 2020-03-26 2021-09-29 Siemens Aktiengesellschaft Procédé et système de diagnostic de messages

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2821508A1 (fr) * 2001-02-27 2002-08-30 France Telecom Supervision et diagnostic du fonctionnement d'un systeme dynamique

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5400246A (en) * 1989-05-09 1995-03-21 Ansan Industries, Ltd. Peripheral data acquisition, monitor, and adaptive control system via personal computer

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2821508A1 (fr) * 2001-02-27 2002-08-30 France Telecom Supervision et diagnostic du fonctionnement d'un systeme dynamique

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
ABOELELA E ET AL: "Switching theory approach to alarm correlation in network management", IEEE, 8 November 2000 (2000-11-08), pages 452 - 461, XP010527472 *
LIPPERTS S: "Enabling alarm correlation for a mobile agent based system and network management - a wrapper concept*", IEEE, 28 September 1999 (1999-09-28), pages 125 - 132, XP010354974 *
MARILLY E ET AL: "Alarm correlation for complex telecommunication networks using neural networks and signal processing", IEEE, 29 October 2002 (2002-10-29), pages 3 - 7, XP010611939 *

Also Published As

Publication number Publication date
FR2855634B1 (fr) 2005-07-08
EP1627494A1 (fr) 2006-02-22
US20060208870A1 (en) 2006-09-21
US7388482B2 (en) 2008-06-17
FR2855634A1 (fr) 2004-12-03

Similar Documents

Publication Publication Date Title
EP1627494A1 (fr) Procede d apprentissage automatique de chroniques frequentes dans un journal d alarmes pour la supervision de systemes d ynamiques
EP1695485B1 (fr) Procede de classification automatique d un ensemble d a lertes issues de sondes de detection d intrusions d un systeme de securite d information
EP2696344B1 (fr) Procede et systeme pour detecter des evenements sonores dans un environnement donne
Berrado et al. Using metarules to organize and group discovered association rules
EP3767467A1 (fr) Procédé et dispositif de détermination d&#39;une valeur d&#39;indice de performance de prédiction d anomalies dans une infrastructure informatique à partir de valeurs d&#39;indicateurs de performance
EP3846046A1 (fr) Procede et systeme de traitement de donnees pour la preparation d&#39;un jeu de donnees
WO2019129977A1 (fr) Detection d&#39;anomalies par une approche combinant apprentissage supervise et non-supervise
EP3489831A1 (fr) Procédé et dispositif de surveillance d&#39;un processus générateur de données d&#39;une métrique pour la prédiction d&#39;anomalies
FR3098940A1 (fr) Procédé et dispositif de détermination d’une valeur de risque d’incident technique dans une infrastructure informatique à partir de valeurs d’indicateurs de performance
EP1122646A1 (fr) Procédé de détection d&#39;anomalies dans un signal
FR2831981A1 (fr) Procede et dispositif d&#39;analyse d&#39;alarmes provenant d&#39;un reseau de communication
FR2901037A1 (fr) Procede et dispositif de generation de motifs structurels de reference aptes a representer des donnees hierarchisees
EP3905044B1 (fr) Procédé d&#39;analyse automatique des journaux de transactions d&#39;un système informatique distribué
WO2000029992A1 (fr) Outil de modelisation a capacite controlee
WO2010037955A1 (fr) Procede de caracterisation d&#39;entites a l&#39;origine de variations dans un trafic reseau
Burns et al. A systematic approach to discovering correlation rules for event management
FR2851353A1 (fr) Procede de classification hierarchique descendante de donnees multi-valuees
EP3846047A1 (fr) Procédé et système d&#39;identification de variables pertinentes
EP3622445B1 (fr) Procede, mise en oeuvre par ordinateur, de recherche de regles d&#39;association dans une base de donnees
WO2021009364A1 (fr) Procédé d&#39;identification de données aberrantes dans d&#39;un jeu de données d&#39;entrée acquises par au moins un capteur
EP4033361B1 (fr) Procédé et dispositif de détermination d&#39;au moins une machine impliquée dans une anomalie détectée dans une infrastructure informatique complexe
CN116861204B (zh) 基于数字孪生的智能制造设备数据管理系统
Yadav et al. Bearing fault classification using TKEO statistical features and artificial intelligence
WO2011144880A1 (fr) Procédé et dispositif d&#39;analyse de données interceptées sur un réseau ip pour la surveillance de l&#39;activité des utilisateurs d&#39;un site web
WO2023241896A1 (fr) Détection d&#39;anomalies pour la maintenance applicative de dispositifs

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): AE AG AL AM AT AU AZ BA BB BG BR BW BY BZ CA CH CN CO CR CU CZ DE DK DM DZ EC EE EG ES FI GB GD GE GH GM HR HU ID IL IN IS JP KE KG KP KR KZ LC LK LR LS LT LU LV MA MD MG MK MN MW MX MZ NA NI NO NZ OM PG PH PL PT RO RU SC SD SE SG SK SL SY TJ TM TN TR TT TZ UA UG US UZ VC VN YU ZA ZM ZW

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): BW GH GM KE LS MW MZ NA SD SL SZ TZ UG ZM ZW AM AZ BY KG KZ MD RU TJ TM AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IT LU MC NL PL PT RO SE SI SK TR BF BJ CF CG CI CM GA GN GQ GW ML MR NE SN TD TG

121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 2004785574

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 10554303

Country of ref document: US

WWP Wipo information: published in national office

Ref document number: 2004785574

Country of ref document: EP

WWP Wipo information: published in national office

Ref document number: 10554303

Country of ref document: US