WO2021198136A1 - Method and system for evaluating a system for predicting the removal of a piece of equipment - Google Patents

Method and system for evaluating a system for predicting the removal of a piece of equipment Download PDF

Info

Publication number
WO2021198136A1
WO2021198136A1 PCT/EP2021/058083 EP2021058083W WO2021198136A1 WO 2021198136 A1 WO2021198136 A1 WO 2021198136A1 EP 2021058083 W EP2021058083 W EP 2021058083W WO 2021198136 A1 WO2021198136 A1 WO 2021198136A1
Authority
WO
WIPO (PCT)
Prior art keywords
alert
factor
points
removal
equipment
Prior art date
Application number
PCT/EP2021/058083
Other languages
French (fr)
Inventor
Yannick CAILLAUD
Philippe DUBEDAT
Victor LEYRONAS
Original Assignee
Thales
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thales filed Critical Thales
Publication of WO2021198136A1 publication Critical patent/WO2021198136A1/en

Links

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00—Testing or monitoring of control systems or parts thereof
    • G05B23/02—Electric testing or monitoring
    • G05B23/0205—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
    • G05B23/0259—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterized by the response to fault detection
    • G05B23/0262—Confirmation of fault detection, e.g. extra checks to confirm that a failure has indeed occurred
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00—Testing or monitoring of control systems or parts thereof
    • G05B23/02—Electric testing or monitoring
    • G05B23/0205—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
    • G05B23/0259—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterized by the response to fault detection
    • G05B23/0283—Predictive maintenance, e.g. involving the monitoring of a system and, based on the monitoring results, taking decisions on the maintenance schedule of the monitored system; Estimating remaining useful life [RUL]

Definitions

  • the present invention relates to a method for evaluating an equipment removal prediction system.
  • the present invention also relates to an associated device.
  • a rare event such as a failure or removal of equipment
  • a rare event is an event that occurs, for example, less than 20% of equipment uptime and an equipment removal is maintenance or equipment change.
  • a prediction system allows such anticipation, from maintenance data collected, for example, during the use of the equipment.
  • Such a prediction system outputs prediction data representative of the probability that the equipment will experience a failure.
  • a method for evaluating a system for predicting the removal of an item of equipment, the prediction system being suitable for providing data for temporal prediction of the probability of removal of the item of equipment, the data prediction further comprising the times at which a removal of the equipment is performed.
  • the method comprises the acquisition of the prediction data coming from the prediction system, the determination, as a function of a predefined number of points called window, the presence or not of at least one series of consecutive points among the prediction data, constituting an alert.
  • the method also comprises the calculation, for each alert, of a veracity factor of said alert, as a function of the number of points of said alert and of the presence or absence of a deposit following the last point of said alert, and the calculation of a precision factor of the prediction system, as a function of the veracity factor of each alert.
  • the evaluation method comprises one or more of the following characteristics, taken in isolation or in any technically possible combination:
  • an alert begins with a first point of the prediction data for which the probability of depositing is greater than a predefined threshold (Ps), and ends either with a last point preceding a deposit of the equipment, either when each point in a series of a number of consecutive points equal to the window includes a probability of depositing less than the predefined threshold, the last point of the alert then corresponding to the last point of said series of consecutive points,
  • Ps predefined threshold
  • the step of calculating the precision factor comprises the calculation, for each alert, of a weight of said alert, as a function of the number of points of said alert and of the presence or not of a deposit following the last point of said alert, the precision factor being calculated as a function of the veracity factor and the weight of each alert,
  • the weight of an alert is a real number greater than or equal to 1, the weight being equal to 1 if the last point of said alert precedes removal of the equipment, and being defined by an increasing function of the number of points of said alert if said alert does not precede removal of the equipment, the increasing function preferably being defined by the following formula: (1 if N £ A
  • W a ⁇ f 2 (N) if A ⁇ N £ r 2 , N being the number of points of said alert, G2 being a
  • the veracity factor of an unfinished alert is calculated as a function of the veracity factor of said alert in the '' assumption where the last point of the prediction data precedes a removal of the equipment, and of the veracity factor of said alert in the hypothesis where the last point of the prediction data does not precede a removal of the equipment,
  • the prediction system is suitable for providing a new point of the prediction data at predetermined times, and in which the steps of acquiring, determining, calculating the truth factor and calculating the precision factor are reiterated at each predetermined time,
  • the method further comprises the calculation, for each deposit, of a prediction factor of said deposit, depending on the presence or absence of an alert preceding said deposit, and the number of points of the alert preceding said deposit where appropriate, and the calculation of a recall factor of the prediction system, as a function of the prediction factor of each deposit.
  • the present description also relates to a system for evaluating a system for predicting the removal of an item of equipment, the prediction system being able to provide data for temporal prediction of the probability of removal of the item of equipment, the prediction data further comprising the times at which a removal of the equipment is effected.
  • the evaluation system comprises: a module for acquiring the prediction data coming from the prediction system, a module for determining, as a function of a predefined number of points called window, of the presence or absence of at least one series of consecutive points among the prediction data, constituting an alert, a calculation module, for each alert, when the presence of at least one alert has been determined, by a factor of veracity of said alert, depending on the number of points of said alert and the presence or not of a deposit following the last point of said alert, and a module for calculating a accuracy factor of the prediction system, as a function of the veracity factor of each alert, when the presence of at least one alert has been determined.
  • the present description also relates to a computer program product comprising a readable information medium, on which is stored a computer program comprising program instructions, the computer program being loadable onto a data processing unit and adapted to cause the implementation of steps of a method as described above when the computer program is implemented on the data processing unit.
  • the present description further relates to a readable information medium comprising program instructions forming a computer program, the computer program being loadable onto a data processing unit and adapted to drive the implementation of a computer program. steps of a method as described above when the computer program is implemented on the data processing unit.
  • FIG. 2 another schematic view of an equipment, a prediction system and an example of an evaluation system
  • FIG. 4 a graphical representation of an example of prediction data provided by a prediction system
  • Equipment 6 is, for example, electronic equipment such as avionics equipment.
  • the equipment 6 is any type of equipment, electronic or not, the deposits of which are to be anticipated over time, such as automobile or train equipment.
  • the equipment 6 is an aircraft piloting system, a vehicle engine, or even an electronic sensor.
  • the prediction system 8 is able to calculate over time the probability P of removing the equipment 6, for example as a function of maintenance data D m from the equipment 6, the maintenance data D m being data specific to the operation of the equipment 6.
  • the evaluation system 10 is able to calculate a precision factor P r and a recall factor R, from the probabilities P calculated by the system for removing the equipment 6.
  • the precision factor P r and the recall factor R characterize the ability of the prediction system 8 to anticipate the removal of the equipment 6.
  • the evaluation system 10 can be seen as a computer interacting with a computer program product 12 as shown schematically in FIG. 1.
  • the interaction between the evaluation system 10 and the computer program product 12 allows the implementation of an evaluation method of the prediction system 8.
  • the evaluation method is thus a computer-implemented method. .
  • the Rating System 10 is a desktop computer. Alternatively, the rating system 10 is a rack mounted computer, laptop, tablet, personal digital assistant (PDA), or smartphone.
  • PDA personal digital assistant
  • the computer is adapted to operate in real time and / or is in an on-board system, in particular in a vehicle such as an airplane.
  • the evaluation system 10 comprises a computing unit 14, a user interface 16 and a communication device 18.
  • the computing unit 14 is an electronic circuit designed to manipulate and / or transform data represented by electronic or physical quantities in registers of the evaluation system 10 and / or memories into other similar data corresponding to data. physical in register memories or other types of display devices, transmission devices or storage devices.
  • the computing unit 14 comprises a single-core or multi-core processor (such as a central processing unit (CPU), a central processing unit (CPU), a graphics processing (GPU), microcontroller and digital signal processor (DSP)), a programmable logic circuit (such as an application-specific integrated circuit (ASIC), an in-situ programmable gate array (FPGA), a logic device programmable logic (PLD) and programmable logic arrays (PLA)), a state machine, a logic gate, and discrete hardware components.
  • a single-core or multi-core processor such as a central processing unit (CPU), a central processing unit (CPU), a graphics processing (GPU), microcontroller and digital signal processor (DSP)
  • a programmable logic circuit such as an application-specific integrated circuit (ASIC), an in-situ programmable gate array (FPGA), a logic device programmable logic (PLD) and programmable logic arrays (PLA)
  • ASIC application-specific integrated circuit
  • FPGA
  • the calculation unit 14 comprises a data processing unit 20 suitable for processing data, in particular by performing calculations, memories 22 suitable for storing data and a reader 24 suitable for reading a computer readable medium.
  • User interface 16 includes an input device 26 and an output device 28.
  • the input device 26 is a device allowing the user of the evaluation system 10 to enter information or commands into the evaluation system 10.
  • the input device 26 is a keyboard.
  • input device 26 is a pointing device (such as a mouse, touchpad, and graphics tablet), voice recognition device, eye tracker, or haptic device (motion analysis).
  • the output device 28 is a graphical user interface, i.e. a display unit designed to provide information to the user of the rating system 10.
  • the output device 28 is a display screen allowing a visual presentation of the output.
  • the output device is a printer, augmented and / or virtual display unit, speaker, or other sound generating device for presenting the output in sound form, a unit producing sound. vibrations and / or odors or a unit adapted to produce an electrical signal.
  • the input device 26 and the output device 28 are the same component forming human-machine interfaces, such as an interactive screen.
  • the communication device 18 enables one-way or two-way communication between the components of the evaluation system 10.
  • the communication device 28 is a bus communication system or an input / output interface.
  • the presence of the communication device 18 allows that, in certain embodiments, the components of the evaluation system 10 are distant from each other.
  • the computer program product 12 includes a computer readable medium 32.
  • Computer readable medium 32 is a tangible device readable by reader 24 of calculator 14.
  • the computer readable medium 32 is not a transient signal per se, such as radio waves or other freely propagating electromagnetic waves, such as light pulses or electronic signals.
  • Such a computer readable storage medium 32 is, for example, an electronic storage device, a magnetic storage device, an optical storage device, an electromagnetic storage device, a semiconductor storage device or any combination of. these.
  • the computer readable storage medium 32 is a mechanically encoded device, such as punch cards or relief structures in a groove, floppy disk, hard disk, ROM. (ROM), random access memory (RAM), programmable read-only erasable memory (EROM), electrically erasable and readable memory (EEPROM), magneto-optical disc, static random access memory (SRAM), compact disc ( CD-ROM), Digital Versatile Disk (DVD), USB flash drive, floppy disk, flash memory, solid-state disk (SSD), or PC card such as a PCMCIA memory card.
  • ROM read-only erasable memory
  • EEPROM electrically erasable and readable memory
  • magneto-optical disc magneto-optical disc
  • SRAM static random access memory
  • CD-ROM compact disc
  • DVD Digital Versatile Disk
  • USB flash drive floppy disk
  • SSD solid-state disk
  • PCMCIA memory card such as a PCMCIA memory card.
  • a computer program is stored on the computer readable storage medium 32.
  • the computer program includes one or more stored program instruction sequences.
  • Such program instructions when executed by the data processing unit 20, result in the execution of steps of the analysis process.
  • the form of program instructions is a form of source code, a computer-executable form, or any form intermediate between a source code and a computer-executable form, such as the form resulting from the conversion of the source code through an interpreter. , an assembler, a compiler, a linker or a locator.
  • the program instructions are microcode, firmware instructions, state definition data, integrated circuit configuration data (eg, VHDL), or object code.
  • the program instructions are written in any combination of one or more languages, for example an object oriented programming language (C ++, JAVA, Python), a procedural programming language (C language for example).
  • the program instructions are downloaded from an external source via a network, as is notably the case for applications.
  • the computer program product comprises a computer readable data medium on which the program instructions are stored or a data medium signal on which the program instructions are encoded.
  • the computer program product 12 comprises instructions which can be loaded into the data processing unit 20 and adapted to cause the execution of the analysis method when they are executed by the processing unit. data 20.
  • the execution is entirely or partially carried out either on the evaluation system 10, that is to say a single computer, or in a system distributed between several computers (in particular via the use of cloud computing).
  • the equipment 6 is suitable for supplying the prediction system 8 with the maintenance data D m at predetermined instants T.
  • the equipment 6 is able to supply, at each predetermined instant T, a new point of the maintenance data D m .
  • the prediction system 8 is able to calculate, at each predetermined instant T, as a function of the maintenance data D m of the prediction data D p of a removal of the equipment 6 and to supply the calculated prediction data D p to the evaluation system 10, at each predetermined instant T.
  • the prediction system 8 is able to calculate data for the prediction of another rare event of the equipment 6.
  • the prediction data D p are temporal data of the probability P of removal of the equipment 6.
  • the prediction data D p further comprises the instants at which a removal of the equipment 6 is carried out.
  • the prediction system 8 is able to calculate, at each predetermined instant T, a new point of the prediction data D p and to supply the new calculated point to the evaluation system 10, at each predetermined instant T.
  • the evaluation system 10 comprises an acquisition module 34, a determination module 36, and four calculation modules which are respectively referred to in the following as first calculation module 38, second calculation module 40 , third calculation module 42 and fourth calculation module 44.
  • first calculation module 38 the evaluation module 10
  • second calculation module 40 the evaluation module 10
  • third calculation module 42 the evaluation module 10
  • fourth calculation module 44 the evaluation system 10 is now described with reference to FIG. 3 which illustrates an example of implementation of a method for evaluating the prediction system 8.
  • the evaluation method comprises an acquisition step 100, a determination step 110, a first calculation step 120 and a second calculation step 130.
  • the steps of acquisition 100, of determination 110 and of calculation 120 and 130 are reiterated at each predetermined instant T.
  • the acquisition module 34 acquires the prediction data D p coming from the prediction system 8.
  • the acquisition module 34 acquires only the new point of the prediction data D p supplied by the prediction system at the predetermined instant T.
  • the evaluation device 10 thus has all the prediction data D p available .
  • the determination module 36 determines, as a function of a predefined number of points called window D, the presence or absence of at least one series of consecutive points among the prediction data D p constituting an alert.
  • An alert is a series of consecutive points which begins with a first point of the prediction data D p for which the probability P of deposit is greater than a predefined threshold P s , and ends either with a last point preceding a deposit of the equipment 6, or when each point in a series of a number of consecutive points equal to the window D includes a probability P of depositing less than the predefined threshold P s , the last point of the alert then corresponding to the last point of said series of consecutive points.
  • FIG. 4 graphically represents an example of prediction data D p supplied by a prediction system 8, and on which are represented the deposits Di and D 2 of the equipment 6 and the alerts Ai, A 2 and A 3 .
  • window D is equal to 3 points.
  • alerts Ai, A 2 and A 3 Three types of alert are defined, represented respectively by alerts Ai, A 2 and A 3 :
  • alert Ai an alert which ends with a series of a number of consecutive points equal to the window D and where each point in the series includes a probability P of depositing less than the predefined threshold P s is called false alarm.
  • the last point of such an alert does not then precede a removal.
  • an alert, such as alert A 2 which ends with a last point preceding a removal is called a proven alert.
  • alert A3 the last point of which corresponds to the last point of the prediction data D p is called an unfinished alert or a pending alert.
  • a removal such as the D1 removal, which is not preceded by an alert is called a missed removal
  • the determination module 36 determines whether the alert is still in progress. waiting, the last point then being included in the alert, or if it is terminated, the alert then being either true or false.
  • the determination module 36 determines the presence or absence of at least one alert among the prediction data D p , as a function of a predefined duration. The alert then ends either with a last point preceding removal of the equipment 6, or when a duration equal to the predefined duration has elapsed since the last point of the alert for which the probability P is greater than the threshold predefined P s .
  • Calculation steps 120 and 130 are performed only when the presence of an alert has been determined during step 110.
  • the first calculation module 38 calculates, for each alert, a veracity factor Y a of the alert, as a function of the number of points N of the alert and of the presence or absence of d '' a deposit following the last point of the alert.
  • the first calculation module 38 calculates the veracity factor Y a of each alert as a function of the number of points N of the alert and of its type.
  • the veracity factor Y a of an alert is a real number between 0 and 1, quantifying how true the alert is, if the alert was started at the right time.
  • the veracity factor Y a is zero if the last point of the alert does not precede removal of the equipment 6, that is to say if the alert is a false alert.
  • the truth factor Y a is defined by a decreasing function of the number of points N of the alert.
  • the decreasing function defining the truth factor Y a of an alert is defined by the following mathematical formula 1: [Math
  • the first number of predefined limit points P is equal to three times the window D.
  • the first calculation module 38 calculates the veracity factor Y a of an unfinished alert, as a function of the veracity factor Y a of the alert in the hypothesis where the last point of the prediction data D p precedes removal of the equipment 6, that is to say in the hypothesis that the alert is a proven alert, and of the veracity factor Y has the alert in the hypothesis where the last point of the prediction D p does not precede removal of the equipment 6, that is to say in the assumption that the alert is a false alert.
  • the first calculation module 38 calculates the truth factor Y a of the unfinished alert in the two previously mentioned hypotheses and attributes the alert truth factor Y a to the average of the two calculated values.
  • the first calculation module 26 only recalculates the truth factor Y a of the last alert if, during the previous iteration, the last alert was an unfinished alert, or if the last alert is an alert starting with the last point of the prediction data D p , that is to say if the last point starts a new alert.
  • the second calculation module 40 calculates the precision factor P r of the prediction system 8, as a function of the truth factor Y a of each alert.
  • the precision factor P r globally quantifies the rate of proven alerts.
  • the second calculation module 40 calculates, for each alert, a weight W a , as a function of the number of points N of the alert, the precision factor P r being calculated according to the truth factor Y a and the weight W a of each alert.
  • the weight W a of an alert is a real number greater than or equal to 1.
  • the weight W a of a proven alert is always equal to 1.
  • the weight W a of a false alert is defined by an increasing function of the number of points N of the alert.
  • the increasing function defining the weight W a of an alert is defined by mathematical formula 2:
  • the second number of predefined limit points G 2 is equal to three times the window D.
  • the second calculation module 40 calculates the weight W a of an unfinished alert, as a function of the weight W a of the alert on the assumption that the last point of the prediction data D p precedes a deposit of l 'equipment 6, that is to say in the hypothesis where the alert is a proven alert, and of the weight W a of the alert in the hypothesis where the last point of the prediction data D p does not precede removal of the equipment 6, that is to say in the event that the alert is a false alert.
  • the first calculation module 38 calculates the weight W a of the unfinished alert in the two previously mentioned hypotheses and attributes the weight W a of the alert to the average of the two calculated values.
  • the precision factor P r is a weighted average of the veracity factors Y a of each alert.
  • the second calculation module 40 calculates the precision factor P r according to the mathematical formula 3:
  • the second calculation module 28 only recalculates the weight W a of the last alert if, during the previous iteration, the last alert was an unfinished alert, or if the last alert is an alert starting with the last point of the prediction data D p , that is to say if the last point starts a new alert.
  • the second calculation module 40 recalculates the precision factor P r only in the two cases mentioned above.
  • the invention makes it possible to take into account in the calculation of the precision factor P r the last points of the prediction data D p , which are conventionally censored, which makes the evaluation more stable.
  • the evaluation method comprises an acquisition step 200, a determination step 210, a first calculation step 220, a second calculation step 230, a third step calculation 240 and a fourth calculation step 250.
  • the steps of acquisition 200, of determination 210 and of calculation 220, 230, 240 and 250 are reiterated at each predetermined instant T.
  • Steps 200 to 230 of the method according to the second implementation example are similar to steps 100 to 130 of the method according to the first variant.
  • the third calculation module 42 calculates, for each deposit, a prediction factor Y d of the deposit, as a function of the presence or absence of an alert preceding the deposit, and of the number of points N of the alert preceding the removal, if applicable.
  • the third calculation module 42 calculates, for each deposit, a prediction factor Y d of the deposit, as a function of the type of deposit and of the number of points N of the alert preceding the deposit when the deposit is a deposit predicted.
  • the prediction factor Y d of a deposit is a real number between 0 and 1, quantifying how well the deposit was predicted on time.
  • the prediction factor Y d is zero if the deposit is not preceded by an alert, that is to say if the deposit is a missed deposit.
  • the prediction factor Y d is defined by a decreasing function of the number of points N of the alert preceding the deposit.
  • the decreasing function defining the prediction factor Y d of an alert is defined by the mathematical formula 4:
  • the third calculation module 30 recalculates only the prediction factor Y d of a new deposit.
  • the fourth calculation module 44 calculates the recall factor R of the prediction system 8, as a function of the prediction factor Y d of each deposit.
  • the recall factor R globally quantifies the rate of predicted deposits.
  • the fourth calculator module 44 calculates the recall factor R according to the following mathematical formula 5:
  • the calculation module 32 recalculates the recall factor R only when the equipment 6 has underwent a new deposit from the instant of the last point of the prediction data D p during the last iteration.
  • the method according to the implementation example illustrated by FIG. 5 has the same advantages as that illustrated by FIG. 3. In particular, it allows a calculation of the recall factor R more reliable and more stable.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Testing And Monitoring For Control Systems (AREA)

Abstract

The invention relates to a method for evaluating a system (8) for predicting the removal of a piece of equipment (6), the prediction system being able to provide temporal prediction data concerning the probability of removal of the equipment, the prediction data further comprising the instants when a removal is carried out. The method comprises acquiring the prediction data, and, depending on a predefined number of points referred to as a window, determining the presence or absence of at least one series of consecutive points in the prediction data, constituting an alert. When the presence of an alert has been determined, the method comprises calculating, for each alert, a truthfulness factor, depending on the number of points of the alert and the presence or absence of a removal following the last point of the alert, and calculating an accuracy factor depending on the truthfulness factor of each alert.

Description

Procédé et système d’évaluation d’un système de prédiction de dépose d’un équipement Method and system for evaluating an equipment removal prediction system
La présente invention concerne un procédé d’évaluation d’un système de prédiction de dépose d’un équipement. La présente invention se rapporte également à un dispositif associé. The present invention relates to a method for evaluating an equipment removal prediction system. The present invention also relates to an associated device.
Dans le domaine de la maintenance prédictive, il s’agit d’anticiper un événement rare, tel qu’une panne ou une dépose d’un équipement, avant qu’un tel événement ne se produise. Par définition, un événement rare est un événement survenant, par exemple, moins de 20% du temps de fonctionnement de l’équipement et une dépose de l’équipement est une maintenance ou un changement de l’équipement. In predictive maintenance, it is about anticipating a rare event, such as a failure or removal of equipment, before such an event occurs. By definition, a rare event is an event that occurs, for example, less than 20% of equipment uptime and an equipment removal is maintenance or equipment change.
Le rôle d’une telle maintenance prédictive est crucial pour les équipements avioniques dans la mesure où une faille d’un équipement entraîne une mise au sol de l’avion affecté. The role of such predictive maintenance is crucial for avionics equipment as an equipment failure results in the affected aircraft being brought to the ground.
L’utilisation d’un système de prédiction permet une telle anticipation, à partir de données de maintenance collectées, par exemple, lors de l’utilisation de l’équipement. Un tel système de prédiction fournit en sortie des données de prédiction représentatives de la probabilité que l’équipement subisse une panne. The use of a prediction system allows such anticipation, from maintenance data collected, for example, during the use of the equipment. Such a prediction system outputs prediction data representative of the probability that the equipment will experience a failure.
Dans le cadre de la prédiction de pannes d’équipements, il convient de disposer de méthodes d’évaluation des systèmes de prédiction qui soient robustes et fiables. In the context of the prediction of equipment failures, it is necessary to have methods of evaluating prediction systems that are robust and reliable.
Les méthodes classiques, usuellement utilisées par l’homme du métier, ne sont pas adaptées au contexte susmentionné. En effet, les méthodes classiques ne tiennent pas suffisamment compte de la dépendance temporelle des prédictions. De plus, les métriques classiques ne permettent pas de mesurer précisément la nuisance occasionnée par les erreurs du système prédictif pour l’utilisateur de l’équipement. Conventional methods, usually used by those skilled in the art, are not suitable for the above-mentioned context. Indeed, the classical methods do not take sufficient account of the temporal dependence of the predictions. In addition, traditional metrics do not accurately measure the nuisance caused by errors in the predictive system for the user of the equipment.
Il existe donc un besoin pour un procédé permettant d’évaluer un système prédictif qui soit plus fiable et plus stable. There is therefore a need for a method for evaluating a predictive system which is more reliable and more stable.
A cet effet, il est proposé un procédé d’évaluation d’un système de prédiction de dépose d’un équipement, le système de prédiction étant propre à fournir des données de prédiction temporelles de la probabilité de dépose de l’équipement, les données de prédiction comprenant en outre les instants auxquels une dépose de l’équipement est effectuée. Le procédé comprend l’acquisition des données de prédiction issues du système de prédiction, la détermination, en fonction d’un nombre de points prédéfini appelé fenêtre, la présence ou non d’au moins une série de points consécutifs parmi les données de prédiction, constituant une alerte. Lorsque la présence d’au moins une alerte a été déterminée, le procédé comprend également le calcul, pour chaque alerte, d’un facteur de véracité de ladite alerte, en fonction du nombre de points de ladite alerte et de la présence ou non d’une dépose suivant le dernier point de ladite alerte, et le calcul d’un facteur de précision du système de prédiction, en fonction du facteur de véracité de chaque alerte. To this end, a method is proposed for evaluating a system for predicting the removal of an item of equipment, the prediction system being suitable for providing data for temporal prediction of the probability of removal of the item of equipment, the data prediction further comprising the times at which a removal of the equipment is performed. The method comprises the acquisition of the prediction data coming from the prediction system, the determination, as a function of a predefined number of points called window, the presence or not of at least one series of consecutive points among the prediction data, constituting an alert. When the presence of at least one alert has been determined, the method also comprises the calculation, for each alert, of a veracity factor of said alert, as a function of the number of points of said alert and of the presence or absence of a deposit following the last point of said alert, and the calculation of a precision factor of the prediction system, as a function of the veracity factor of each alert.
Suivant des modes de réalisation particuliers, le procédé d’évaluation comprend une ou plusieurs des caractéristiques suivantes, prise(s) isolément ou suivant toutes les combinaisons techniquement possibles : According to particular embodiments, the evaluation method comprises one or more of the following characteristics, taken in isolation or in any technically possible combination:
- lors de l’étape de détermination, une alerte débute par un premier point des données de prédiction pour lequel la probabilité de dépose est supérieure à un seuil (Ps) prédéfini, et se termine soit par un dernier point précédant une dépose de l’équipement, soit lorsque chaque point d’une série d’un nombre de points consécutifs égal à la fenêtre comprend une probabilité de dépose inférieure au seuil prédéfini, le dernier point de l’alerte correspondant alors au dernier point de ladite série de points consécutifs, - during the determination step, an alert begins with a first point of the prediction data for which the probability of depositing is greater than a predefined threshold (Ps), and ends either with a last point preceding a deposit of the equipment, either when each point in a series of a number of consecutive points equal to the window includes a probability of depositing less than the predefined threshold, the last point of the alert then corresponding to the last point of said series of consecutive points,
- lors de l’étape de calcul du facteur de véracité, le facteur de véracité d’une alerte est un nombre réel compris entre 0 et 1 , le facteur de véracité étant nul si le dernier point de ladite alerte ne précède pas une dépose de l’équipement, et étant définie par une fonction décroissante du nombre de points de ladite alerte si ladite alerte précède une dépose de l’équipement (6), ladite fonction décroissante étant de préférence définie par la r 1 si N £ A formule suivante : Ya = ]/iOV)si A< N £ G1; N étant le nombre de points de ladite alerte, D- during the step of calculating the veracity factor, the veracity factor of an alert is a real number between 0 and 1, the truth factor being zero if the last point of said alert does not precede a removal of equipment, and being defined by a decreasing function of the number of points of said alert if said alert precedes removal of the equipment (6), said decreasing function preferably being defined by r 1 if N £ A following formula: Y a =] / iOV) if A <N £ G 1; N being the number of points of said alert, D
( 0 si T1 < N étant la fenêtre, P étant un premier nombre de points limite prédéfini, et fi étant une fonction prédéfinie continue et décroissante du nombre de points de ladite alerte prenant la valeur 1 lorsque le nombre de points est égal à la fenêtre et la valeur 0 lorsque le nombre de points est égal au premier nombre de points limite, (0 if T 1 <N being the window, P being a first number of predefined limit points, and fi being a continuous and decreasing predefined function of the number of points of said alert taking the value 1 when the number of points is equal to the window and the value 0 when the number of points is equal to the first number of limit points,
- l’étape de calcul du facteur de précision comprend le calcul, pour chaque alerte, d’un poids de ladite alerte, en fonction du nombre de points de ladite alerte et de la présence ou non d’une dépose suivant le dernier point de ladite alerte, le facteur de précision étant calculé en fonction du facteur de véracité et du poids de chaque alerte,the step of calculating the precision factor comprises the calculation, for each alert, of a weight of said alert, as a function of the number of points of said alert and of the presence or not of a deposit following the last point of said alert, the precision factor being calculated as a function of the veracity factor and the weight of each alert,
- lors de l’étape de calcul du facteur de précision, le poids d’une alerte est un nombre réel supérieur ou égal à 1 , le poids étant égal à 1 si le dernier point de ladite alerte précède une dépose de l’équipement, et étant définie par une fonction croissante du nombre de points de ladite alerte si ladite alerte ne précède pas une dépose de l’équipement, la fonction croissante étant de préférence définie par la formule suivante : ( 1 si N £ A - during the step of calculating the precision factor, the weight of an alert is a real number greater than or equal to 1, the weight being equal to 1 if the last point of said alert precedes removal of the equipment, and being defined by an increasing function of the number of points of said alert if said alert does not precede removal of the equipment, the increasing function preferably being defined by the following formula: (1 if N £ A
Wa = \f2(N) si A< N £ r2, N étant le nombre de points de ladite alerte, G2 étant unW a = \ f 2 (N) if A <N £ r 2 , N being the number of points of said alert, G2 being a
( b si G2 < N deuxième nombre de points limite prédéfini, b étant un poids maximal prédéfini, et få étant une fonction prédéfinie continue et croissante du nombre de points de ladite alerte prenant la valeur 1 lorsque le nombre de points est égal à la fenêtre et la valeur b lorsque le nombre de points de ladite alerte est égal au deuxième nombre de points limite, (b if G 2 <N second number of predefined limit points, b being a predefined maximum weight, and f å being a continuous and increasing predefined function of the number of points of said alert taking the value 1 when the number of points is equal to the window and the value b when the number of points of said alert is equal to the second number of limit points,
- lors de l’étape de calcul du facteur de précision, le facteur de précision est une moyenne pondérée des facteurs de véracité de chaque alerte, le facteur de précision étant de préférence défini par la formule suivante : Pr = étant la formule de
Figure imgf000005_0001
somme sur l’ensemble des alertes des données de prédiction, Ya et Wa étant respectivement le facteur de véracité et le poids d’une alerte, - during the step of calculating the precision factor, the precision factor is a weighted average of the veracity factors of each alert, the precision factor preferably being defined by the following formula: P r = being the formula of
Figure imgf000005_0001
sum over all the alerts of the prediction data, Y a and W a being respectively the truth factor and the weight of an alert,
- lors de l’étape de calcul du facteur de véracité, le facteur de véracité d’une alerte non terminée, dont le dernier point correspond au dernier point des données de prédiction, est calculé en fonction du facteur de véracité de ladite alerte dans l’hypothèse où le dernier point des données de prédiction précède une dépose de l’équipement, et du facteur de véracité de ladite alerte dans l’hypothèse où le dernier point des données de prédiction ne précède pas une dépose de l’équipement, - during the step of calculating the veracity factor, the veracity factor of an unfinished alert, the last point of which corresponds to the last point of the prediction data, is calculated as a function of the veracity factor of said alert in the '' assumption where the last point of the prediction data precedes a removal of the equipment, and of the veracity factor of said alert in the hypothesis where the last point of the prediction data does not precede a removal of the equipment,
- le système de prédiction est propre à fournir un nouveau point des données de prédiction à des instants prédéterminés, et dans lequel les étapes d’acquisition, de détermination, de calcul du facteur de véracité et du calcul du facteur de précision sont réitérées à chaque instant prédéterminé, the prediction system is suitable for providing a new point of the prediction data at predetermined times, and in which the steps of acquiring, determining, calculating the truth factor and calculating the precision factor are reiterated at each predetermined time,
- le procédé comprend en outre le calcul, pour chaque dépose, d’un facteur de prédiction de ladite dépose, en fonction de la présence ou non d’une alerte précédant ladite dépose, et du nombre de points de l’alerte précédent ladite dépose le cas échéant, et le calcul d’un facteur de rappel du système de prédiction, en fonction du facteur de prédiction de chaque dépose. - the method further comprises the calculation, for each deposit, of a prediction factor of said deposit, depending on the presence or absence of an alert preceding said deposit, and the number of points of the alert preceding said deposit where appropriate, and the calculation of a recall factor of the prediction system, as a function of the prediction factor of each deposit.
La présente description concerne aussi un système d’évaluation d’un système de prédiction de dépose d’un équipement, le système de prédiction étant propre à fournir des données de prédiction temporelles de la probabilité de dépose de l’équipement, les données de prédiction comprenant en outre les instants auxquels une dépose de l’équipement est effectuée. Le système d’évaluation comprend : un module d’acquisition des données de prédiction issues du système de prédiction, un module de détermination, en fonction d’un nombre de points prédéfini appelé fenêtre, de la présence ou non d’au moins une série de points consécutifs parmi les données de prédiction, constituant une alerte, un module de calcul, pour chaque alerte, lorsque la présence d’au moins une alerte a été déterminée, d’un facteur de véracité de ladite alerte, en fonction du nombre de points de ladite alerte et de la présence ou non d’une dépose suivant le dernier point de ladite alerte, et un module de calcul d’un facteur de précision du système de prédiction, en fonction du facteur de véracité de chaque alerte, lorsque la présence d’au moins une alerte a été déterminée. The present description also relates to a system for evaluating a system for predicting the removal of an item of equipment, the prediction system being able to provide data for temporal prediction of the probability of removal of the item of equipment, the prediction data further comprising the times at which a removal of the equipment is effected. The evaluation system comprises: a module for acquiring the prediction data coming from the prediction system, a module for determining, as a function of a predefined number of points called window, of the presence or absence of at least one series of consecutive points among the prediction data, constituting an alert, a calculation module, for each alert, when the presence of at least one alert has been determined, by a factor of veracity of said alert, depending on the number of points of said alert and the presence or not of a deposit following the last point of said alert, and a module for calculating a accuracy factor of the prediction system, as a function of the veracity factor of each alert, when the presence of at least one alert has been determined.
La présente description concerne également un produit programme d’ordinateur comportant un support lisible d’informations, sur lequel est mémorisé un programme d’ordinateur comprenant des instructions de programme, le programme d’ordinateur étant chargeable sur une unité de traitement de données et adapté pour entraîner la mise en œuvre d’étapes d’un procédé tel que décrit ci-dessus lorsque le programme d’ordinateur est mis en œuvre sur l’unité de traitement des données. The present description also relates to a computer program product comprising a readable information medium, on which is stored a computer program comprising program instructions, the computer program being loadable onto a data processing unit and adapted to cause the implementation of steps of a method as described above when the computer program is implemented on the data processing unit.
La présente description concerne, en outre, un support lisible d’informations comportant des instructions de programme formant un programme d’ordinateur, le programme d’ordinateur étant chargeable sur une unité de traitement de données et adapté pour entraîner la mise en œuvre d’étapes d’un procédé tel que décrit ci-dessus lorsque le programme d’ordinateur est mis en œuvre sur l’unité de traitement de données. The present description further relates to a readable information medium comprising program instructions forming a computer program, the computer program being loadable onto a data processing unit and adapted to drive the implementation of a computer program. steps of a method as described above when the computer program is implemented on the data processing unit.
D'autres caractéristiques et avantages de l'invention apparaîtront à la lecture de la description qui suit de modes de réalisation de l'invention, donnée à titre d'exemple uniquement et en référence aux dessins qui sont : Other characteristics and advantages of the invention will become apparent on reading the following description of embodiments of the invention, given by way of example only and with reference to the drawings which are:
- figure 1 , une vue schématique d’un équipement, d’un système de prédiction et d’un exemple de système d’évaluation, - Figure 1, a schematic view of equipment, a prediction system and an example of an evaluation system,
- figure 2, une autre vue schématique d’un équipement, d’un système de prédiction et d’un exemple de système d’évaluation, - figure 2, another schematic view of an equipment, a prediction system and an example of an evaluation system,
- figure 3, un ordinogramme d’un exemple de mise en œuvre d’un procédé d’évaluation selon un premier exemple de mise en œuvre, - Figure 3, a flowchart of an example of implementation of an evaluation method according to a first example of implementation,
- figure 4 une représentation graphique d’un exemple de données de prédiction fournies par un système de prédiction, et - Figure 4 a graphical representation of an example of prediction data provided by a prediction system, and
- figure 5, un ordinogramme d’un exemple de mise en œuvre d’un procédé d’évaluation selon un deuxième exemple de mise en œuvre. - Figure 5, a flowchart of an example of implementation of an evaluation method according to a second example of implementation.
Un équipement 6, un système de prédiction 8 de dépose de l’équipement 6 et un système d’évaluation 10 sont représentés sur la figure 1. An equipment 6, a prediction system 8 for removing the equipment 6 and an evaluation system 10 are shown in Figure 1.
L’équipement 6 est, par exemple, un équipement électronique tel qu’un équipement avionique. Alternativement, l’équipement 6 est n’importe quel type d’équipement, électronique ou non, dont des déposes sont à anticiper au cours du temps, tel qu’un équipement d’automobile ou de train. Equipment 6 is, for example, electronic equipment such as avionics equipment. Alternatively, the equipment 6 is any type of equipment, electronic or not, the deposits of which are to be anticipated over time, such as automobile or train equipment.
Par exemple, l’équipement 6 est un système de pilotage d’un aéronef, un moteur d’un véhicule, ou encore un capteur électronique. For example, the equipment 6 is an aircraft piloting system, a vehicle engine, or even an electronic sensor.
Le système de prédiction 8 est propre à calculer au cours du temps la probabilité P de dépose de l’équipement 6, par exemple en fonction de données de maintenances Dm issues de l’équipement 6, les données de maintenances Dm étant des données propres au fonctionnement de l’équipement 6. The prediction system 8 is able to calculate over time the probability P of removing the equipment 6, for example as a function of maintenance data D m from the equipment 6, the maintenance data D m being data specific to the operation of the equipment 6.
Le système d’évaluation 10 est propre à calculer un facteur de précision Pr et un facteur de rappel R, à partir des probabilités P calculées par le système de dépose de l’équipement 6. The evaluation system 10 is able to calculate a precision factor P r and a recall factor R, from the probabilities P calculated by the system for removing the equipment 6.
Le facteur de précision Pr et le facteur de rappel R caractérisent la capacité du système de prédiction 8 à anticiper les déposes de l’équipement 6. The precision factor P r and the recall factor R characterize the ability of the prediction system 8 to anticipate the removal of the equipment 6.
D’un point de vue strictement matériel, le système d’évaluation 10 peut être vu comme un calculateur interagissant avec un produit programme d’ordinateur 12 comme schématiquement représenté sur la figure 1 . From a strictly hardware point of view, the evaluation system 10 can be seen as a computer interacting with a computer program product 12 as shown schematically in FIG. 1.
L’interaction entre le système d’évaluation 10 et le produit programme d’ordinateur 12 permet la mise en œuvre d’un procédé d’évaluation du système de prédiction 8. Le procédé d’évaluation est ainsi un procédé mis en œuvre par ordinateur. The interaction between the evaluation system 10 and the computer program product 12 allows the implementation of an evaluation method of the prediction system 8. The evaluation method is thus a computer-implemented method. .
Le système d’évaluation 10 est un ordinateur de bureau. En variante, le système d’évaluation 10 est un ordinateur monté sur un rack, un ordinateur portable, une tablette, un assistant numérique personnel (PDA) ou un smartphone. The Rating System 10 is a desktop computer. Alternatively, the rating system 10 is a rack mounted computer, laptop, tablet, personal digital assistant (PDA), or smartphone.
Dans des modes de réalisation spécifiques, l'ordinateur est adapté pour fonctionner en temps réel et/ou est dans un système embarqué, notamment dans un véhicule tel qu'un avion. In specific embodiments, the computer is adapted to operate in real time and / or is in an on-board system, in particular in a vehicle such as an airplane.
Dans le cas de la figure 1 , le système d’évaluation 10 comprend une unité de calcul 14, une interface utilisateur 16 et un dispositif de communication 18. In the case of Figure 1, the evaluation system 10 comprises a computing unit 14, a user interface 16 and a communication device 18.
L’unité de calcul 14 est un circuit électronique conçu pour manipuler et/ou transformer des données représentées par des quantités électroniques ou physiques dans des registres du système d’évaluation 10 et/ou des mémoires en d'autres données similaires correspondant à des données physiques dans les mémoires de registres ou d'autres types de dispositifs d'affichage, de dispositifs de transmission ou de dispositifs de mémorisation. The computing unit 14 is an electronic circuit designed to manipulate and / or transform data represented by electronic or physical quantities in registers of the evaluation system 10 and / or memories into other similar data corresponding to data. physical in register memories or other types of display devices, transmission devices or storage devices.
En tant qu’exemples spécifiques, l’unité de calcul 14 comprend un processeur monocœur ou multicœurs (tel qu’une unité de traitement centrale (CPU), une unité de traitement graphique (GPU), un microcontrôleur et un processeur de signal numérique (DSP)), un circuit logique programmable (comme un circuit intégré spécifique à une application (ASIC), un réseau de portes programmables in situ (FPGA), un dispositif logique programmable (PLD) et des réseaux logiques programmables (PLA)), une machine à états, une porte logique et des composants matériels discrets. As specific examples, the computing unit 14 comprises a single-core or multi-core processor (such as a central processing unit (CPU), a central processing unit (CPU), a graphics processing (GPU), microcontroller and digital signal processor (DSP)), a programmable logic circuit (such as an application-specific integrated circuit (ASIC), an in-situ programmable gate array (FPGA), a logic device programmable logic (PLD) and programmable logic arrays (PLA)), a state machine, a logic gate, and discrete hardware components.
L’unité de calcul 14 comprend une unité de traitement de données 20 adaptée pour traiter des données, notamment en effectuant des calculs, des mémoires 22 adaptées à stocker des données et un lecteur 24 adapté à lire un support lisible par ordinateur. The calculation unit 14 comprises a data processing unit 20 suitable for processing data, in particular by performing calculations, memories 22 suitable for storing data and a reader 24 suitable for reading a computer readable medium.
L'interface utilisateur 16 comprend un dispositif d'entrée 26 et un dispositif de sortie 28. User interface 16 includes an input device 26 and an output device 28.
Le dispositif d’entrée 26 est un dispositif permettant à l'utilisateur du système d’évaluation 10 de saisir sur le système d’évaluation 10 des informations ou des commandes. The input device 26 is a device allowing the user of the evaluation system 10 to enter information or commands into the evaluation system 10.
Sur la figure 1, le dispositif d’entrée 26 est un clavier. En variante, le dispositif d’entrée 26 est un périphérique de pointage (tel qu'une souris, un pavé tactile et une tablette graphique), un dispositif de reconnaissance vocale, un oculomètre ou un dispositif haptique (analyse des mouvements). In Figure 1, the input device 26 is a keyboard. Alternatively, input device 26 is a pointing device (such as a mouse, touchpad, and graphics tablet), voice recognition device, eye tracker, or haptic device (motion analysis).
Le dispositif de sortie 28 est une interface utilisateur graphique, c’est-à-dire une unité d’affichage conçue pour fournir des informations à l’utilisateur du système d’évaluation 10. The output device 28 is a graphical user interface, i.e. a display unit designed to provide information to the user of the rating system 10.
Sur la figure 1, le dispositif de sortie 28 est un écran d’affichage permettant une présentation visuelle de la sortie. Dans d'autres modes de réalisation, le dispositif de sortie est une imprimante, une unité d'affichage augmenté et/ou virtuel, un haut-parleur ou un autre dispositif générateur de son pour présenter la sortie sous forme sonore, une unité produisant des vibrations et/ou des odeurs ou une unité adaptée à produire un signal électrique. In Figure 1, the output device 28 is a display screen allowing a visual presentation of the output. In other embodiments, the output device is a printer, augmented and / or virtual display unit, speaker, or other sound generating device for presenting the output in sound form, a unit producing sound. vibrations and / or odors or a unit adapted to produce an electrical signal.
Dans un mode de réalisation spécifique, le dispositif d'entrée 26 et le dispositif de sortie 28 sont le même composant formant des interfaces homme-machine, tel qu'un écran interactif. In a specific embodiment, the input device 26 and the output device 28 are the same component forming human-machine interfaces, such as an interactive screen.
Le dispositif de communication 18 permet une communication unidirectionnelle ou bidirectionnelle entre les composants du système d’évaluation 10. Par exemple, le dispositif de communication 28 est un système de communication par bus ou une interface d'entrée / sortie. The communication device 18 enables one-way or two-way communication between the components of the evaluation system 10. For example, the communication device 28 is a bus communication system or an input / output interface.
La présence du dispositif de communication 18 permet que, dans certains modes de réalisation, les composants du système d’évaluation 10 soient distants les uns des autres. Le produit programme informatique 12 comprend un support lisible par ordinateur 32. The presence of the communication device 18 allows that, in certain embodiments, the components of the evaluation system 10 are distant from each other. The computer program product 12 includes a computer readable medium 32.
Le support lisible par ordinateur 32 est un dispositif tangible lisible par le lecteur 24 de la calculatrice 14. Computer readable medium 32 is a tangible device readable by reader 24 of calculator 14.
Notamment, le support lisible par ordinateur 32 n'est pas un signal transitoire en soi, tels que des ondes radio ou d'autres ondes électromagnétiques à propagation libre, telles que des impulsions lumineuses ou des signaux électroniques. In particular, the computer readable medium 32 is not a transient signal per se, such as radio waves or other freely propagating electromagnetic waves, such as light pulses or electronic signals.
Un tel support de stockage lisible par ordinateur 32 est, par exemple, un dispositif de stockage électronique, un dispositif de stockage magnétique, un dispositif de stockage optique, un dispositif de stockage électromagnétique, un dispositif de stockage à semi- conducteur ou toute combinaison de ceux-ci. Such a computer readable storage medium 32 is, for example, an electronic storage device, a magnetic storage device, an optical storage device, an electromagnetic storage device, a semiconductor storage device or any combination of. these.
En tant que liste non exhaustive d'exemples plus spécifiques, le support de stockage lisible par ordinateur 32 est un dispositif codé mécaniquement, tel que des cartes perforées ou des structures en relief dans une gorge, une disquette, un disque dur, une mémoire morte (ROM), une mémoire vive (RAM), une mémoire effaçable programmable en lecture seule (EROM), une mémoire effaçable électriquement et lisible (EEPROM), un disque magnéto-optique, une mémoire vive statique (SRAM), un disque compact (CD-ROM), un disque numérique polyvalent (DVD), une clé USB, un disque souple, une mémoire flash, un disque à semi-conducteur (SSD) ou une carte PC telle qu'une carte mémoire PCMCIA. As a non-exhaustive list of more specific examples, the computer readable storage medium 32 is a mechanically encoded device, such as punch cards or relief structures in a groove, floppy disk, hard disk, ROM. (ROM), random access memory (RAM), programmable read-only erasable memory (EROM), electrically erasable and readable memory (EEPROM), magneto-optical disc, static random access memory (SRAM), compact disc ( CD-ROM), Digital Versatile Disk (DVD), USB flash drive, floppy disk, flash memory, solid-state disk (SSD), or PC card such as a PCMCIA memory card.
Un programme d'ordinateur est stocké sur le support de stockage lisible par ordinateur 32. Le programme d'ordinateur comprend une ou plusieurs séquences d'instructions de programme mémorisées. A computer program is stored on the computer readable storage medium 32. The computer program includes one or more stored program instruction sequences.
De telles instructions de programme, lorsqu'elles sont exécutées par l'unité de traitement de données 20, entraînent l'exécution d'étapes du procédé d’analyse. Such program instructions, when executed by the data processing unit 20, result in the execution of steps of the analysis process.
Par exemple, la forme des instructions de programme est une forme de code source, une forme exécutable par ordinateur ou toute forme intermédiaire entre un code source et une forme exécutable par ordinateur, telle que la forme résultant de la conversion du code source via un interpréteur, un assembleur, un compilateur, un éditeur de liens ou un localisateur. En variante, les instructions de programme sont un microcode, des instructions firmware, des données de définition d’état, des données de configuration pour circuit intégré (par exemple du VHDL) ou un code objet. For example, the form of program instructions is a form of source code, a computer-executable form, or any form intermediate between a source code and a computer-executable form, such as the form resulting from the conversion of the source code through an interpreter. , an assembler, a compiler, a linker or a locator. Alternatively, the program instructions are microcode, firmware instructions, state definition data, integrated circuit configuration data (eg, VHDL), or object code.
Les instructions de programme sont écrites dans n’importe quelle combinaison d’un ou de plusieurs langages, par exemple un langage de programmation orienté objet (C++, JAVA, Python), un langage de programmation procédural (langage C par exemple). Alternativement, les instructions du programme sont téléchargées depuis une source externe via un réseau, comme c'est notamment le cas pour les applications. Dans ce cas, le produit programme d'ordinateur comprend un support de données lisible par ordinateur sur lequel sont stockées les instructions de programme ou un signal de support de données sur lequel sont codées les instructions de programme. The program instructions are written in any combination of one or more languages, for example an object oriented programming language (C ++, JAVA, Python), a procedural programming language (C language for example). Alternatively, the program instructions are downloaded from an external source via a network, as is notably the case for applications. In this case, the computer program product comprises a computer readable data medium on which the program instructions are stored or a data medium signal on which the program instructions are encoded.
Dans chaque cas, le produit programme d'ordinateur 12 comprend des instructions qui peuvent être chargées dans l'unité de traitement de données 20 et adaptées pour provoquer l'exécution du procédé d’analyse lorsqu'elles sont exécutées par l'unité de traitement de données 20. Selon les modes de réalisation, l'exécution est entièrement ou partiellement réalisée soit sur le système d’évaluation 10, c'est-à-dire un ordinateur unique, soit dans un système distribué entre plusieurs ordinateurs (notamment via l’utilisation de l’informatique en nuage). In each case, the computer program product 12 comprises instructions which can be loaded into the data processing unit 20 and adapted to cause the execution of the analysis method when they are executed by the processing unit. data 20. According to the embodiments, the execution is entirely or partially carried out either on the evaluation system 10, that is to say a single computer, or in a system distributed between several computers (in particular via the use of cloud computing).
D’un point de vue fonctionnel, l’ensemble formé par l’équipement 6, le système de prédiction 8 et d’un exemple de système d’évaluation 10 peut être vu comme représenté à la figure 2 qui est maintenant décrite. From a functional point of view, the assembly formed by the equipment 6, the prediction system 8 and an exemplary evaluation system 10 can be seen as shown in Figure 2 which is now described.
Selon l’exemple décrit, l’équipement 6 est propre à fournir au système de prédiction 8 les données de maintenance Dm à des instants T prédéterminés. Par exemple, l’équipement 6 est propre à fournir, à chaque instant T prédéterminé, un nouveau point des données de maintenance Dm. According to the example described, the equipment 6 is suitable for supplying the prediction system 8 with the maintenance data D m at predetermined instants T. For example, the equipment 6 is able to supply, at each predetermined instant T, a new point of the maintenance data D m .
Le système de prédiction 8 est propre à calculer, à chaque instant T prédéterminé, en fonction des données de maintenance Dm des données Dp de prédiction d’une dépose de l’équipement 6 et pour fournir les données de prédiction Dp calculés au système d’évaluation 10, à chaque instant T prédéterminé. The prediction system 8 is able to calculate, at each predetermined instant T, as a function of the maintenance data D m of the prediction data D p of a removal of the equipment 6 and to supply the calculated prediction data D p to the evaluation system 10, at each predetermined instant T.
En variante, le système de prédiction 8 est propre à calculer des données de prédiction d’un autre événement rare de l’équipement 6. As a variant, the prediction system 8 is able to calculate data for the prediction of another rare event of the equipment 6.
Les données de prédiction Dp sont des données temporelles de la probabilité P de dépose de l’équipement 6. The prediction data D p are temporal data of the probability P of removal of the equipment 6.
Les données de prédiction Dp comprennent, en outre, les instants auxquels une dépose de l’équipement 6 est effectuée. The prediction data D p further comprises the instants at which a removal of the equipment 6 is carried out.
Par exemple, le système de prédiction 8 est propre à calculer, à chaque instant T prédéterminé, un nouveau point des données de prédiction Dp et pour fournir le nouveau point calculé au système d’évaluation 10, à chaque instant T prédéterminé. For example, the prediction system 8 is able to calculate, at each predetermined instant T, a new point of the prediction data D p and to supply the new calculated point to the evaluation system 10, at each predetermined instant T.
Dans l’exemple décrit, le système d’évaluation 10 comprend un module d’acquisition 34, un module de détermination 36, et quatre modules de calculs qui sont dénommés respectivement dans ce qui suit premier module de calcul 38, deuxième module de calcul 40, troisième module de calcul 42 et quatrième module de calcul 44. Le fonctionnement du système d’évaluation 10 est maintenant décrit en référence à la figure 3 qui illustre un exemple de mise en œuvre d’un procédé d’évaluation du système de prédiction 8. In the example described, the evaluation system 10 comprises an acquisition module 34, a determination module 36, and four calculation modules which are respectively referred to in the following as first calculation module 38, second calculation module 40 , third calculation module 42 and fourth calculation module 44. The operation of the evaluation system 10 is now described with reference to FIG. 3 which illustrates an example of implementation of a method for evaluating the prediction system 8.
Selon l’exemple de la figure 3, le procédé d’évaluation comporte une étape d’acquisition 100, une étape de détermination 110, une première étape de calcul 120 et une deuxième étape de calcul 130. According to the example of FIG. 3, the evaluation method comprises an acquisition step 100, a determination step 110, a first calculation step 120 and a second calculation step 130.
Selon l’exemple décrit, les étapes d’acquisition 100, de détermination 110 et de calcul 120 et 130 sont réitérées à chaque instant T prédéterminés. According to the example described, the steps of acquisition 100, of determination 110 and of calculation 120 and 130 are reiterated at each predetermined instant T.
Lors de l’étape d’acquisition 100, le module d’acquisition 34 acquiert les données de prédiction Dp issues du système de prédiction 8. During the acquisition step 100, the acquisition module 34 acquires the prediction data D p coming from the prediction system 8.
Selon l’exemple décrit, à chaque nouvelle itération de l’étape d’acquisition 100, et donc à chaque instant T prédéterminé, le module d’acquisition 34 acquiert uniquement le nouveau point des données de prédiction Dp fourni par le système de prédiction à l’instant T prédéterminé. According to the example described, at each new iteration of the acquisition step 100, and therefore at each predetermined instant T, the acquisition module 34 acquires only the new point of the prediction data D p supplied by the prediction system at the predetermined instant T.
A l’issue de l’étape d’acquisition 100, le dispositif d’évaluation 10 dispose ainsi de l’ensemble des données de prédiction Dp. At the end of the acquisition step 100, the evaluation device 10 thus has all the prediction data D p available .
Lors de l’étape de détermination 110, le module de détermination 36 détermine, en fonction d’un nombre de points prédéfini appelé fenêtre D, la présence ou non, d’au moins une série de points consécutifs parmi les données de prédictions Dp constituant une alerte. During the determination step 110, the determination module 36 determines, as a function of a predefined number of points called window D, the presence or absence of at least one series of consecutive points among the prediction data D p constituting an alert.
Une alerte est une série de points consécutifs qui débute par un premier point des données de prédiction Dp pour lequel la probabilité P de dépose est supérieure à un seuil prédéfini Ps, et se termine soit par un dernier point précédant une dépose de l’équipement 6, soit lorsque chaque point d’une série d’un nombre de points consécutifs égal à la fenêtre D comprend une probabilité P de dépose inférieure au seuil prédéfini Ps, le dernier point de l’alerte correspondant alors au dernier point de ladite série de points consécutifs. An alert is a series of consecutive points which begins with a first point of the prediction data D p for which the probability P of deposit is greater than a predefined threshold P s , and ends either with a last point preceding a deposit of the equipment 6, or when each point in a series of a number of consecutive points equal to the window D includes a probability P of depositing less than the predefined threshold P s , the last point of the alert then corresponding to the last point of said series of consecutive points.
La figure 4 représente graphiquement un exemple de données de prédiction Dp fournies par un système de prédiction 8, et sur laquelle sont représentées les déposes Di et D2 de l’équipement 6 et les alertes Ai, A2 et A3. FIG. 4 graphically represents an example of prediction data D p supplied by a prediction system 8, and on which are represented the deposits Di and D 2 of the equipment 6 and the alerts Ai, A 2 and A 3 .
Sur l’exemple de la figure 4, la fenêtre D est égale à 3 points. In the example of Figure 4, window D is equal to 3 points.
On définit trois types d’alerte, représentées respectivement par les alertes Ai, A2 et A3 : Three types of alert are defined, represented respectively by alerts Ai, A 2 and A 3 :
- une alerte, telle que l’alerte Ai, qui se termine par une série d’un nombre de points consécutifs égal à la fenêtre D et où chaque point de la série comprend une probabilité P de dépose inférieure au seuil prédéfini Ps est appelée fausse alerte. Le dernier point d’une telle alerte ne précède alors pas une dépose. - une alerte, telle que l’alerte A2, qui se termine par un dernier point précédent une dépose est appelée alerte avérée. an alert, such as alert Ai, which ends with a series of a number of consecutive points equal to the window D and where each point in the series includes a probability P of depositing less than the predefined threshold P s is called false alarm. The last point of such an alert does not then precede a removal. - an alert, such as alert A 2 , which ends with a last point preceding a removal is called a proven alert.
- une alerte, telle que l’alerte A3, dont le dernier point correspond au dernier point des données de prédiction Dp est appelée alerte non terminée ou alerte en attente. an alert, such as alert A3, the last point of which corresponds to the last point of the prediction data D p is called an unfinished alert or a pending alert.
Il est défini deux types de dépose, représentées respectivement par les déposes Di et D2 : Two types of deposit are defined, represented respectively by deposits Di and D 2 :
- une dépose, telle que la dépose D1, qui n’est pas précédée par une alerte est appelée dépose manquée, - a removal, such as the D1 removal, which is not preceded by an alert is called a missed removal,
- une dépose, telle que la dépose D2, qui est précédée par une alerte est appelée dépose prédite. - a removal, such as removal D2, which is preceded by an alert is called predicted removal.
Plus particulièrement, si lors de l’itération précédente, le module de détermination 36 a déterminé que le dernier point des données de prédictions Dp est compris dans une alerte en attente, alors le module de détermination 36 détermine si l’alerte est toujours en attente, le dernier point étant alors compris dans l’alerte, ou si elle est terminée, l’alerte étant alors soit avérée, soit fausse. More particularly, if during the previous iteration, the determination module 36 has determined that the last point of the prediction data D p is included in a pending alert, then the determination module 36 determines whether the alert is still in progress. waiting, the last point then being included in the alert, or if it is terminated, the alert then being either true or false.
En variante, le module de détermination 36 détermine la présence ou non d’au moins une alerte parmi les données de prédictions Dp, en fonction d’une durée prédéfinie. L’alerte se termine alors soit par un dernier point précédant une dépose de l’équipement 6, soit lorsqu’une durée égale à la durée prédéfinie s’est écoulée depuis le dernier point de l’alerte dont la probabilité P est supérieure au seuil prédéfini Ps. As a variant, the determination module 36 determines the presence or absence of at least one alert among the prediction data D p , as a function of a predefined duration. The alert then ends either with a last point preceding removal of the equipment 6, or when a duration equal to the predefined duration has elapsed since the last point of the alert for which the probability P is greater than the threshold predefined P s .
Les étapes de calcul 120 et 130 sont effectuées uniquement lorsque la présence d’une alerte a été déterminée au cours de l’étape 110. Calculation steps 120 and 130 are performed only when the presence of an alert has been determined during step 110.
Lors de la première étape de calcul 120, le premier module de calcul 38 calcule, pour chaque alerte, un facteur de véracité Ya de l’alerte, en fonction du nombre de points N de l’alerte et de la présence ou non d’une dépose suivant le dernier point de l’alerte. During the first calculation step 120, the first calculation module 38 calculates, for each alert, a veracity factor Y a of the alert, as a function of the number of points N of the alert and of the presence or absence of d '' a deposit following the last point of the alert.
Autrement formulé, le premier module de calcul 38 calcule le facteur de véracité Ya de chaque alerte en fonction du nombre de points N de l’alerte et de son type. Otherwise formulated, the first calculation module 38 calculates the veracity factor Y a of each alert as a function of the number of points N of the alert and of its type.
Le facteur de véracité Ya d’une alerte est un nombre réel compris entre 0 et 1, quantifiant à quel point l’alerte est avérée, si l’alerte a été commencée au bon moment. The veracity factor Y a of an alert is a real number between 0 and 1, quantifying how true the alert is, if the alert was started at the right time.
Le facteur de véracité Ya est nul si le dernier point de l’alerte ne précède pas une dépose de l’équipement 6, c’est-à-dire si l’alerte est une fausse alerte. The veracity factor Y a is zero if the last point of the alert does not precede removal of the equipment 6, that is to say if the alert is a false alert.
Si l’alerte précède une dépose, c’est-à-dire si l’alerte est une alerte avérée, le facteur de véracité Ya est définie par une fonction décroissante du nombre de points N de l’alerte. If the alert precedes a removal, that is to say if the alert is a proven alert, the truth factor Y a is defined by a decreasing function of the number of points N of the alert.
De préférence, la fonction décroissante définissant le facteur de véracité Ya d’une alerte est définie par la formule mathématique 1 suivante : [Math Preferably, the decreasing function defining the truth factor Y a of an alert is defined by the following mathematical formula 1: [Math
Avec : With :
• P un premier nombre de points limite prédéfini représentant le nombre de points à partir duquel il est considéré que l’alerte est commencée trop tôt vis-à-vis de la dépose, et • P a first number of predefined limit points representing the number of points from which it is considered that the alert started too early with respect to removal, and
• fi une fonction prédéfinie continue et décroissante du nombre de points N de l’alerte, prenant la valeur 1 lorsque le nombre de points N est égal à la fenêtre D et la valeur 0 lorsque le nombre de points N est égal au premier nombre de points limite P. • fi a continuous and decreasing predefined function of the number of points N of the alert, taking the value 1 when the number of points N is equal to the window D and the value 0 when the number of points N is equal to the first number of limit points P.
Par exemple, le premier nombre de points limite prédéfini P est égal à trois fois la fenêtre D. For example, the first number of predefined limit points P is equal to three times the window D.
En complément, le premier module de calcul 38 calcule le facteur de véracité Ya d’une alerte non terminée, en fonction du facteur de véracité Ya de l’alerte dans l’hypothèse où le dernier point des données de prédiction Dp précède une dépose de l’équipement 6, c’est-à-dire dans l’hypothèse où l’alerte est une alerte avérée, et du facteur de véracité Ya de l’alerte dans l’hypothèse où le dernier point des données de prédiction Dp ne précède pas une dépose de l’équipement 6, c’est-à-dire dans l’hypothèse où l’alerte est une fausse alerte. In addition, the first calculation module 38 calculates the veracity factor Y a of an unfinished alert, as a function of the veracity factor Y a of the alert in the hypothesis where the last point of the prediction data D p precedes removal of the equipment 6, that is to say in the hypothesis that the alert is a proven alert, and of the veracity factor Y has the alert in the hypothesis where the last point of the prediction D p does not precede removal of the equipment 6, that is to say in the assumption that the alert is a false alert.
Par exemple, le premier module de calcul 38 calcule le facteur de véracité Ya de l’alerte non terminée dans les deux hypothèses précédemment mentionnées et attribue au facteur de véracité Ya de l’alerte la moyenne des deux valeurs calculées. For example, the first calculation module 38 calculates the truth factor Y a of the unfinished alert in the two previously mentioned hypotheses and attributes the alert truth factor Y a to the average of the two calculated values.
De préférence, lors des réitérations de la première étape de calcul 120, le premier module de calcule 26 recalcule uniquement le facteur de véracité Ya de la dernière alerte si lors de l’itération précédente, la dernière alerte était une alerte non terminée, ou si la dernière alerte est une alerte débutant par le dernier point des données de prédiction Dp, c’est-à-dire si le dernier point débute une nouvelle alerte. Preferably, during the reiterations of the first calculation step 120, the first calculation module 26 only recalculates the truth factor Y a of the last alert if, during the previous iteration, the last alert was an unfinished alert, or if the last alert is an alert starting with the last point of the prediction data D p , that is to say if the last point starts a new alert.
A la deuxième étape de calcul 130, le deuxième module de calcul 40 calcule le facteur de précision Pr du système de prédiction 8, en fonction du facteur de véracité Ya de chaque alerte. In the second calculation step 130, the second calculation module 40 calculates the precision factor P r of the prediction system 8, as a function of the truth factor Y a of each alert.
Le facteur de précision Pr quantifie de façon globale le taux d’alertes avérées. The precision factor P r globally quantifies the rate of proven alerts.
Selon l’exemple décrit, lors de la deuxième étape de calcul 130, le deuxième module de calcul 40 calcule, pour chaque alerte, un poids Wa, en fonction du nombre de points N de l’alerte, le facteur de précision Pr étant calculé en fonction du facteur de véracité Ya et du poids Wa de chaque alerte. According to the example described, during the second calculation step 130, the second calculation module 40 calculates, for each alert, a weight W a , as a function of the number of points N of the alert, the precision factor P r being calculated according to the truth factor Y a and the weight W a of each alert.
Le poids Wa d’une alerte est un nombre réel supérieur ou égal à 1. Le poids Wa d’une alerte avérée est toujours égal à 1. The weight W a of an alert is a real number greater than or equal to 1. The weight W a of a proven alert is always equal to 1.
Le poids Wa d’une fausse alerte est défini par une fonction croissante du nombre de points N de l’alerte. The weight W a of a false alert is defined by an increasing function of the number of points N of the alert.
De préférence, la fonction croissante définissant le poids Wa d’une alerte est définie par la formule mathématique 2 : Preferably, the increasing function defining the weight W a of an alert is defined by mathematical formula 2:
( 1 si N £ A (1 if N £ A
[Math 2] Wa = J/2 W si A< N £ G2 [Math 2] W a = J / 2 W if A <N £ G 2
(. b si G2 < N (. b if G 2 <N
Avec : With :
• l~2 un deuxième nombre de points limite prédéfini représentant un nombre de points à partir duquel il est considéré qu’une fausse alerte dure trop longtemps et est à pénaliser de façon maximale, • l ~ 2 a second number of predefined limit points representing a number of points from which it is considered that a false alarm lasts too long and is to be penalized as much as possible,
• b un poids maximal prédéfini quantifiant une pénalisation maximale pour une fausse alerte, et • b a predefined maximum weight quantifying a maximum penalty for a false alarm, and
• f2 une fonction prédéfinie continue et croissante du nombre de points N de l’alerte, prenant la valeur 1 lorsque le nombre de points N est égal à la fenêtre D et la valeur b lorsque le nombre de points N est égal au deuxième nombre de points limite G2. • f2 a continuous and increasing predefined function of the number of points N of the alert, taking the value 1 when the number of points N is equal to the window D and the value b when the number of points N is equal to the second number of limit points G2.
Par exemple, le deuxième nombre de points limite prédéfini G2 est égal à trois fois la fenêtre D. For example, the second number of predefined limit points G 2 is equal to three times the window D.
En complément, le deuxième module de calcul 40 calcule le poids Wa d’une alerte non terminée, en fonction du poids Wa de l’alerte dans l’hypothèse où le dernier point des données de prédiction Dp précède une dépose de l’équipement 6, c’est-à-dire dans l’hypothèse où l’alerte est une alerte avérée, et du poids Wa de l’alerte dans l’hypothèse où le dernier point des données de prédiction Dp ne précède pas une dépose de l’équipement 6, c’est-à-dire dans l’hypothèse où l’alerte est une fausse alerte. In addition, the second calculation module 40 calculates the weight W a of an unfinished alert, as a function of the weight W a of the alert on the assumption that the last point of the prediction data D p precedes a deposit of l 'equipment 6, that is to say in the hypothesis where the alert is a proven alert, and of the weight W a of the alert in the hypothesis where the last point of the prediction data D p does not precede removal of the equipment 6, that is to say in the event that the alert is a false alert.
Par exemple, le premier module de calcul 38 calcule le poids Wa de l’alerte non terminée dans les deux hypothèses précédemment mentionnées et attribue au poids Wa de l’alerte la moyenne des deux valeurs calculées. For example, the first calculation module 38 calculates the weight W a of the unfinished alert in the two previously mentioned hypotheses and attributes the weight W a of the alert to the average of the two calculated values.
Selon l’exemple décrit, le facteur de précision Pr est une moyenne pondérée des facteurs de véracité Ya de chaque alerte. According to the example described, the precision factor P r is a weighted average of the veracity factors Y a of each alert.
Par exemple, le deuxième module de calcul 40 calcule le facteur de précision Pr suivant la formule mathématique 3 : For example, the second calculation module 40 calculates the precision factor P r according to the mathematical formula 3:
[Math 3 ] Rt = y^ [Math 3] R t = y ^
Da vva Da vv a
Avec åa la formule de somme sur l’ensemble des alertes des données de prédiction Dp. Avantageusement, lors des réitérations de la deuxième étape de calcul 130, le deuxième module de calcule 28 recalcule uniquement le poids Wa de la dernière alerte si lors de l’itération précédente, la dernière alerte était une alerte non terminée, ou si la dernière alerte est une alerte débutant par le dernier point des données de prédiction Dp, c’est-à-dire si le dernier point débute une nouvelle alerte. With å a the sum formula over the set of alerts of the prediction data Dp. Advantageously, during the reiterations of the second calculation step 130, the second calculation module 28 only recalculates the weight W a of the last alert if, during the previous iteration, the last alert was an unfinished alert, or if the last alert is an alert starting with the last point of the prediction data D p , that is to say if the last point starts a new alert.
De même, le deuxième module de calcul 40 recalcule le facteur de précision Pr uniquement dans les deux cas cités précédemment. Likewise, the second calculation module 40 recalculates the precision factor P r only in the two cases mentioned above.
Ainsi, le calcul du facteur de précision Pr permet de quantifier en partie l’évaluation du système de prédiction 8. Thus, the calculation of the precision factor P r makes it possible to partially quantify the evaluation of the prediction system 8.
En particulier, le calcul du facteur de précision Pr via le facteur de véracité Ya et le poids Wa d’une alerte permet d’évaluer le système de prédiction 8 de façon plus fiable. In particular, the calculation of the precision factor P r via the truth factor Y a and the weight W a of an alert makes it possible to evaluate the prediction system 8 more reliably.
En effet, dans le cas où le système de prédiction 8 anticipe une dépose pour un groupe d’équipements, et qu’une fausse alerte persiste sur un même équipement, la pénalité de cette fausse alerte est limitée par un poids maximal b. Indeed, in the case where the prediction system 8 anticipates a removal for a group of equipment, and a false alarm persists on the same equipment, the penalty for this false alarm is limited by a maximum weight b.
Dans le cas d’alertes commencées prématurément, ces alertes ne sont pas autant pénalisées que des fausses alertes, le facteur de véracité Ya étant alors compris entre 0 et 1 dans ce cas. In the case of alerts started prematurely, these alerts are not penalized as much as false alerts, the truth factor Y a then being between 0 and 1 in this case.
Enfin, l’invention permet de prendre en compte dans le calcul du facteur de précision Pr les derniers points des données de prédiction Dp, qui sont classiquement censurées, ce qui rend l’évaluation plus stable. Finally, the invention makes it possible to take into account in the calculation of the precision factor P r the last points of the prediction data D p , which are conventionally censored, which makes the evaluation more stable.
Selon un autre exemple de mise en œuvre illustré par la figure 5, le procédé d’évaluation comporte une étape d’acquisition 200, une étape de détermination 210, une première étape de calcul 220, une deuxième étape de calcul 230, une troisième étape de calcul 240 et une quatrième étape de calcul 250. According to another exemplary implementation illustrated by FIG. 5, the evaluation method comprises an acquisition step 200, a determination step 210, a first calculation step 220, a second calculation step 230, a third step calculation 240 and a fourth calculation step 250.
Selon l’exemple décrit, les étapes d’acquisition 200, de détermination 210 et de calcul 220, 230, 240 et 250 sont réitérées à chaque instant T prédéterminés. According to the example described, the steps of acquisition 200, of determination 210 and of calculation 220, 230, 240 and 250 are reiterated at each predetermined instant T.
Les étapes 200 à 230 du procédé selon le deuxième exemple de mise en œuvre sont similaires aux étapes 100 à 130 du procédé selon la première variante. Steps 200 to 230 of the method according to the second implementation example are similar to steps 100 to 130 of the method according to the first variant.
Lors de la troisième étape de calcul 240, le troisième module de calcul 42 calcule, pour chaque dépose, un facteur de prédiction Yd de la dépose, en fonction de la présence ou non d’une alerte précédant la dépose, et du nombre de points N de l’alerte précédant la dépose le cas échéant. During the third calculation step 240, the third calculation module 42 calculates, for each deposit, a prediction factor Y d of the deposit, as a function of the presence or absence of an alert preceding the deposit, and of the number of points N of the alert preceding the removal, if applicable.
Autrement formulé, le troisième module de calcul 42 calcule, pour chaque dépose, un facteur de prédiction Yd de la dépose, en fonction du type de dépose et du nombre de points N de l’alerte précédant la dépose lorsque la dépose est une dépose prédite. Le facteur de prédiction Yd d’une dépose est un nombre réel compris entre 0 et 1 , quantifiant à quel point la dépose a été prédite dans les temps. Otherwise formulated, the third calculation module 42 calculates, for each deposit, a prediction factor Y d of the deposit, as a function of the type of deposit and of the number of points N of the alert preceding the deposit when the deposit is a deposit predicted. the prediction factor Y d of a deposit is a real number between 0 and 1, quantifying how well the deposit was predicted on time.
Le facteur de prédiction Yd est nul si la dépose n’est pas précédée par une alerte, c’est-à-dire si la dépose est une dépose manquée. The prediction factor Y d is zero if the deposit is not preceded by an alert, that is to say if the deposit is a missed deposit.
Si la dépose est précédée par une alerte, c’est-à-dire si la dépose est une dépose prédite, le facteur de prédiction Yd est définie par une fonction décroissante du nombre de points N de l’alerte précédant la dépose. If the deposit is preceded by an alert, that is to say if the deposit is a predicted deposit, the prediction factor Y d is defined by a decreasing function of the number of points N of the alert preceding the deposit.
De préférence, le la fonction décroissante définissant le facteur de prédiction Yd d’une alerte est définie par la formule mathématique 4 : Preferably, the decreasing function defining the prediction factor Y d of an alert is defined by the mathematical formula 4:
[Math
Figure imgf000016_0001
[Math
Figure imgf000016_0001
Avec : With :
• l~3 un troisième nombre de points limite prédéfini représentant un nombre de point à partir duquel il est considéré que l’alerte anticipant la dépose est commencée trop tôt, et • l ~ 3 a third number of predefined limit points representing a number of points from which it is considered that the alert anticipating removal has started too early, and
• f3 une fonction prédéfinie continue et décroissante du nombre de points N de l’alerte, prenant la valeur 1 lorsque le nombre de points N est égal à la fenêtre D et la valeur 0 lorsque le nombre de points N est égal au troisième nombre de points limite G3. • f3 a continuous and decreasing predefined function of the number of points N of the alert, taking the value 1 when the number of points N is equal to the window D and the value 0 when the number of points N is equal to the third number of limit points G3.
Avantageusement, lors des réitérations de la troisième étape de calcul 240, le troisième module de calcule 30 recalcule uniquement le facteur de prédiction Yd d’une nouvelle dépose. Advantageously, during the reiterations of the third calculation step 240, the third calculation module 30 recalculates only the prediction factor Y d of a new deposit.
A la quatrième étape de calcul 250, le quatrième module de calcul 44 calcule le facteur de rappel R du système de prédiction 8, en fonction du facteur de prédiction Yd de chaque dépose. In the fourth calculation step 250, the fourth calculation module 44 calculates the recall factor R of the prediction system 8, as a function of the prediction factor Y d of each deposit.
Le facteur de rappel R quantifie de façon globale le taux de déposes prédites. The recall factor R globally quantifies the rate of predicted deposits.
Par exemple, le quatrième module de calcule 44 calcule le facteur de rappel R selon la formule mathématique 5 suivante : For example, the fourth calculator module 44 calculates the recall factor R according to the following mathematical formula 5:
[Math
Figure imgf000016_0002
[Math
Figure imgf000016_0002
Avec : With :
• Nd le nombre de dépose, et • N d the number of deposits, and
• åd la formule de somme sur l’ensemble des déposes des données de prédiction Dp. • å d the sum formula over the set of deposits of the prediction data D p .
Avantageusement, lors des réitérations de la quatrième étape de calcul 250, le module de calcul 32 recalcule le facteur de rappel R uniquement lorsque l’équipement 6 a subi une nouvelle dépose depuis l’instant du dernier point des données de prédiction Dp lors de la dernière itération. Advantageously, during the reiterations of the fourth calculation step 250, the calculation module 32 recalculates the recall factor R only when the equipment 6 has underwent a new deposit from the instant of the last point of the prediction data D p during the last iteration.
Le procédé selon l’exemple de mise en œuvre illustré par la figure 5 présente les mêmes avantages que celui illustré par la figure 3. En particulier, il permet un calcul du facteur de rappel R plus fiable et plus stable. The method according to the implementation example illustrated by FIG. 5 has the same advantages as that illustrated by FIG. 3. In particular, it allows a calculation of the recall factor R more reliable and more stable.

Claims

REVENDICATIONS
1. Procédé d’évaluation d’un système de prédiction (8) de dépose d’un équipement (6), le système de prédiction (8) étant propre à fournir des données de prédiction (Dp) temporelles de la probabilité de dépose de l’équipement (6), les données de prédiction (Dp) comprenant en outre les instants auxquels une dépose de l’équipement (6) est effectuée, le procédé comprenant : 1. Method for evaluating a prediction system (8) for the removal of an item of equipment (6), the prediction system (8) being able to provide prediction data (D p ) of the probability of removal over time. of the equipment (6), the prediction data (D p ) further comprising the instants at which a removal of the equipment (6) is performed, the method comprising:
- l’acquisition des données de prédiction (Dp) issues du système de prédiction (8),- acquisition of prediction data (D p ) from the prediction system (8),
- la détermination, en fonction d’un nombre de points prédéfini appelé fenêtre, de la présence ou non d’au moins une série de points consécutifs parmi les données de prédiction, constituant une alerte, chaque point correspondant à une probabilité de dépose (P) pour un instant temporel (T) prédéterminé, lorsque la présence d’au moins une alerte a été déterminée, le procédé comprend également : - determining, as a function of a predefined number of points called window, of the presence or not of at least one series of consecutive points among the prediction data, constituting an alert, each point corresponding to a probability of deposit (P ) for a predetermined time instant (T), when the presence of at least one alert has been determined, the method also comprises:
- le calcul, pour chaque alerte, d’un facteur de véracité de ladite alerte, en fonction du nombre de points de ladite alerte et de la présence ou non d’une dépose suivant le dernier point de ladite alerte, le facteur de véracité d’une alerte étant un nombre réel compris entre 0 et 1 , le facteur de véracité étant nul si le dernier point de ladite alerte ne précède pas une dépose de l’équipement (6), et étant défini par une fonction décroissante du nombre de points de ladite alerte si ladite alerte précède une dépose de l’équipement (6), et - the calculation, for each alert, of a veracity factor of said alert, depending on the number of points of said alert and the presence or not of a deposit following the last point of said alert, the truth factor d 'an alert being a real number between 0 and 1, the veracity factor being zero if the last point of said alert does not precede removal of the equipment (6), and being defined by a decreasing function of the number of points of said alert if said alert precedes removal of the equipment (6), and
- le calcul d’un facteur de précision du système de prédiction (8), en fonction du facteur de véracité de chaque alerte. - the calculation of a precision factor of the prediction system (8), depending on the veracity factor of each alert.
2. Procédé selon la revendication 1 , dans lequel lors de l’étape de détermination, une alerte débute par un premier point des données de prédiction (Dp) pour lequel la probabilité de dépose est supérieure à un seuil prédéfini, et se termine soit par un dernier point précédant une dépose de l’équipement (6), soit lorsque chaque point d’une série d’un nombre de points consécutifs égal à la fenêtre comprend une probabilité de dépose inférieure au seuil prédéfini, le dernier point de l’alerte correspondant alors au dernier point de ladite série de points consécutifs. 2. Method according to claim 1, wherein during the determining step, an alert begins with a first point of the prediction data (D p ) for which the probability of deposit is greater than a predefined threshold, and ends either by a last point preceding a removal of the equipment (6), i.e. when each point in a series of a number of consecutive points equal to the window includes a probability of removal less than the predefined threshold, the last point of the alert then corresponding to the last point of said series of consecutive points.
3. Procédé selon l’une quelconque des revendications précédentes, dans lequel lors de l’étape de calcul du facteur de véracité, ladite fonction décroissante est définie par la formule suivante
Figure imgf000018_0001
N étant le nombre de points de ladite alerte, D étant la fenêtre, G étant un premier nombre de points limite prédéfini, et fi étant une fonction prédéfinie continue et décroissante du nombre de points de ladite alerte prenant la valeur 1 lorsque le nombre de points est égal à la fenêtre et la valeur 0 lorsque le nombre de points est égal au premier nombre de points limite. 3. Method according to any one of the preceding claims, wherein during the step of calculating the truth factor, said decreasing function is defined by the following formula
Figure imgf000018_0001
N being the number of points of said alert, D being the window, G being a first number of predefined limit points, and fi being a continuous and decreasing predefined function of the number of points of said alert taking the value 1 when the number of points is equal to the window and the value 0 when the number of points is equal to the first number of limit points.
4. Procédé selon l’une quelconque des revendications précédentes, dans lequel l’étape de calcul du facteur de précision comprend le calcul, pour chaque alerte, d’un poids de ladite alerte, en fonction du nombre de points de ladite alerte et de la présence ou non d’une dépose suivant le dernier point de ladite alerte, le facteur de précision étant calculé en fonction du facteur de véracité et du poids de chaque alerte. 4. Method according to any one of the preceding claims, wherein the step of calculating the precision factor comprises calculating, for each alert, a weight of said alert, as a function of the number of points of said alert and of the presence or not of a deposit following the last point of said alert, the precision factor being calculated as a function of the veracity factor and the weight of each alert.
5. Procédé selon la revendication 4, dans lequel lors de l’étape de calcul du facteur de précision, le poids d’une alerte est un nombre réel supérieur ou égal à 1, le poids étant égal à 1 si le dernier point de ladite alerte précède une dépose de l’équipement (6), et étant définie par une fonction croissante du nombre de points de ladite alerte si ladite alerte ne précède pas une dépose de l’équipement (6), la fonction croissante étant de préférence définie par la formule suivante : Wa G2,
Figure imgf000019_0001
5. The method of claim 4, wherein during the step of calculating the precision factor, the weight of an alert is a real number greater than or equal to 1, the weight being equal to 1 if the last point of said point. alert precedes removal of the equipment (6), and being defined by an increasing function of the number of points of said alert if said alert does not precede removal of the equipment (6), the increasing function preferably being defined by the following formula: W a G2,
Figure imgf000019_0001
N étant le nombre de points de ladite alerte, G étant un deuxième nombre de points limite prédéfini, b étant un poids maximal prédéfini, et få étant une fonction prédéfinie continue et croissante du nombre de points de ladite alerte prenant la valeur 1 lorsque le nombre de points est égal à la fenêtre et la valeur b lorsque le nombre de points de ladite alerte est égal au deuxième nombre de points limite. N being the number of points of said alert, G being a second predefined number of limit points, b being a predefined maximum weight, and f å being a continuous and increasing predefined function of the number of points of said alert taking the value 1 when the number of points is equal to the window and the value b when the number of points of said alert is equal to the second number of limit points.
6. Procédé selon la revendication 5, dans lequel lors de l’étape de calcul du facteur de précision, le facteur de précision est une moyenne pondérée des facteurs de véracité de chaque alerte, le facteur de précision étant de préférence défini par la formule suivante :
Figure imgf000019_0002
åa étant la formule de somme sur l’ensemble des alertes des données de prédiction, Ya et Wa étant respectivement le facteur de véracité et le poids d’une alerte. 6. The method of claim 5, wherein during the step of calculating the precision factor, the precision factor is a weighted average of the truth factors of each alert, the precision factor preferably being defined by the following formula. :
Figure imgf000019_0002
å a being the sum formula over the set of prediction data alerts, Y a and W a being respectively the truth factor and the weight of an alert.
7. Procédé selon l’une quelconque des revendications précédentes, dans lequel lors de l’étape de calcul du facteur de véracité, le facteur de véracité d’une alerte non terminée, dont le dernier point correspond au dernier point des données de prédiction (Dp), est calculé en fonction du facteur de véracité de ladite alerte dans l’hypothèse où le dernier point des données de prédiction précède une dépose de l’équipement (6), et du facteur de véracité de ladite alerte dans l’hypothèse où le dernier point des données de prédiction ne précède pas une dépose de l’équipement (6). 7. Method according to any one of the preceding claims, wherein during the step of calculating the veracity factor, the veracity factor of a non-alert. completed, the last point of which corresponds to the last point of the prediction data (D p ), is calculated as a function of the veracity factor of said alert on the assumption that the last point of the prediction data precedes a removal of the equipment ( 6), and the veracity factor of said alert on the assumption that the last point of the prediction data does not precede removal of the equipment (6).
8. Procédé selon l’une quelconque des revendications précédentes, dans lequel le système de prédiction (8) est propre à fournir un nouveau point des données de prédiction (Dp) à des instants prédéterminés, et dans lequel les étapes d’acquisition, de détermination, de calcul du facteur de véracité et du calcul du facteur de précision sont réitérées à chaque instant prédéterminé. 8. Method according to any one of the preceding claims, in which the prediction system (8) is able to provide a new point of the prediction data (D p ) at predetermined instants, and in which the acquisition steps, determination, calculation of the truth factor and calculation of the precision factor are reiterated at each predetermined instant.
9. Procédé selon l’une quelconque des revendications précédentes, dans lequel le procédé comprend en outre : 9. A method according to any preceding claim, wherein the method further comprises:
- le calcul, pour chaque dépose, d’un facteur de prédiction de ladite dépose, en fonction de la présence ou non d’une alerte précédant ladite dépose, et du nombre de points de l’alerte précédent ladite dépose le cas échéant, et - the calculation, for each deposit, of a prediction factor for said deposit, depending on the presence or absence of an alert preceding said deposit, and the number of points of the alert preceding said deposit, if applicable, and
- le calcul d’un facteur de rappel du système de prédiction (8), en fonction du facteur de prédiction de chaque dépose. - the calculation of a recall factor of the prediction system (8), as a function of the prediction factor of each deposit.
10. Système d’évaluation (10) d’un système de prédiction (8) de dépose d’un équipement (6), le système de prédiction (8) étant propre à fournir des données de prédiction (Dp) temporelles de la probabilité de dépose de l’équipement (6), les données de prédiction (Dp) comprenant en outre les instants auxquels une dépose de l’équipement (6) est effectuée, le système d’évaluation (10) comprenant : 10. Evaluation system (10) of a prediction system (8) for the removal of an item of equipment (6), the prediction system (8) being able to provide prediction data (D p ) over time of the probability of removal of the equipment (6), the prediction data (D p ) further comprising the times at which a removal of the equipment (6) is performed, the evaluation system (10) comprising:
- un module d’acquisition (34) des données de prédiction (Dp) issues du système de prédiction (8), - an acquisition module (34) of the prediction data (D p ) coming from the prediction system (8),
- un module de détermination (36), en fonction d’un nombre de points prédéfini appelé fenêtre, de la présence ou non d’au moins une série de points consécutifs parmi les données de prédiction, constituant une alerte, chaque point correspondant à une probabilité de dépose (P) pour un instant temporel (T) prédéterminé, - a determination module (36), as a function of a predefined number of points called window, of the presence or not of at least one series of consecutive points among the prediction data, constituting an alert, each point corresponding to a probability of deposit (P) for a predetermined time instant (T),
- un module de calcul (38), pour chaque alerte, lorsque la présence d’au moins une alerte a été déterminée, d’un facteur de véracité de ladite alerte, en fonction du nombre de points de ladite alerte et de la présence ou non d’une dépose suivant le dernier point de ladite alerte, le facteur de véracité d’une alerte étant un nombre réel compris entre 0 et 1 , le facteur de véracité étant nul si le dernier point de ladite alerte ne précède pas une dépose de l’équipement (6), et étant défini par une fonction décroissante du nombre de points de ladite alerte si ladite alerte précède une dépose de l’équipement (6), et - a calculation module (38), for each alert, when the presence of at least one alert has been determined, of a veracity factor of said alert, as a function of the number of points of said alert and of the presence or not of a deposit following the last point of said alert, the veracity factor of an alert being a real number between 0 and 1, the veracity factor being zero if the last point of said alert does not precede a removal of the equipment (6), and being defined by a decreasing function of the number of points of said alert if said alert precedes removal of the equipment (6), and
- un module de calcul (40) d’un facteur de précision du système de prédiction (8), en fonction du facteur de véracité de chaque alerte, lorsque la présence d’au moins une alerte a été déterminée. - a module (40) for calculating a precision factor for the prediction system (8), depending on the veracity factor of each alert, when the presence of at least one alert has been determined.
11. Produit programme d’ordinateur comportant un support lisible d’informations, sur lequel est mémorisé un programme d’ordinateur comprenant des instructions de programme, le programme d’ordinateur étant chargeable sur une unité de traitement de données et adapté pour entraîner la mise en œuvre d’étapes d’un procédé selon l’une quelconque des revendications 1 à 9 lorsque le programme d’ordinateur est mis en œuvre sur l’unité de traitement des données. 11. Computer program product comprising a readable information medium, on which is stored a computer program comprising program instructions, the computer program being loadable onto a data processing unit and adapted to cause the setting. implementing steps of a method according to any one of claims 1 to 9 when the computer program is implemented on the data processing unit.
12. Support lisible d’informations comportant des instructions de programme formant un programme d’ordinateur, le programme d’ordinateur étant chargeable sur une unité de traitement de données et adapté pour entraîner la mise en œuvre d’étapes d’un procédé selon l’une quelconque des revendications 1 à 9 lorsque le programme d’ordinateur est mis en œuvre sur l’unité de traitement de données. 12. Readable information medium comprising program instructions forming a computer program, the computer program being loadable onto a data processing unit and adapted to cause the implementation of steps of a method according to any of claims 1 to 9 when the computer program is implemented on the data processing unit.
PCT/EP2021/058083 2020-03-31 2021-03-29 Method and system for evaluating a system for predicting the removal of a piece of equipment WO2021198136A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FRFR2003161 2020-03-31
FR2003161A FR3108744B1 (en) 2020-03-31 2020-03-31 Method and system for evaluating an equipment removal prediction system

Publications (1)

Publication Number Publication Date
WO2021198136A1 true WO2021198136A1 (en) 2021-10-07

Family

ID=70804806

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2021/058083 WO2021198136A1 (en) 2020-03-31 2021-03-29 Method and system for evaluating a system for predicting the removal of a piece of equipment

Country Status (2)

Country Link
FR (1) FR3108744B1 (en)
WO (1) WO2021198136A1 (en)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0971321A2 (en) * 1998-07-01 2000-01-12 General Electric Company System and method for generating alerts through multi-variate data assessment
WO2017077247A1 (en) * 2015-11-05 2017-05-11 Safran Aircraft Engines System and method for monitoring a turbomachine, with indicator merging for the synthesis of an alarm confirmation

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0971321A2 (en) * 1998-07-01 2000-01-12 General Electric Company System and method for generating alerts through multi-variate data assessment
WO2017077247A1 (en) * 2015-11-05 2017-05-11 Safran Aircraft Engines System and method for monitoring a turbomachine, with indicator merging for the synthesis of an alarm confirmation

Also Published As

Publication number Publication date
FR3108744B1 (en) 2023-05-19
FR3108744A1 (en) 2021-10-01

Similar Documents

Publication Publication Date Title
US11256990B2 (en) Memory-efficient backpropagation through time
US11023804B2 (en) Generating an output for a neural network output layer
US20240127058A1 (en) Training neural networks using priority queues
US20230049747A1 (en) Training machine learning models using teacher annealing
KR20210132578A (en) Method, apparatus, device and storage medium for constructing knowledge graph
US20230352004A1 (en) Mixed client-server federated learning of machine learning model(s)
US11651291B2 (en) Real-time predictions based on machine learning models
KR20230133808A (en) Method and apparatus for training roi detection model, method and apparatus for detecting roi, device, and medium
WO2021198136A1 (en) Method and system for evaluating a system for predicting the removal of a piece of equipment
RU2715024C1 (en) Method of trained recurrent neural network debugging
CN112598136B (en) Data calibration method and device
CN114817716A (en) Method, device, equipment and medium for predicting user conversion behaviors and training model
EP4252162A1 (en) Method for evaluating the performance of a prediction algorithm, and associated devices
US11893480B1 (en) Reinforcement learning with scheduled auxiliary control
WO2021152118A1 (en) Method for generating a retranscribed scenario by a communication system and associated devices
FR3108184A1 (en) Method for predicting a failure of an item of equipment of a mobile platform and associated device
WO2023118548A1 (en) Method for detecting an eddy in a body of water and associated system
EP4403958A1 (en) Method for monitoring an environment by a plurality of bearers and associated devices
CN117312127A (en) Program testing method, device, electronic equipment, storage medium and product
CN118113934A (en) Data processing method, apparatus, electronic device, medium, and program product
FR3108186A1 (en) Method of consolidating a set of data for predictive maintenance and associated device
CN115328732A (en) Vehicle processor performance adjusting method and device, vehicle and storage medium
CN118278967A (en) User behavior data processing method and device, electronic equipment and storage medium
CN114625963A (en) Business activity information matching pushing method, device, equipment and medium
CN118798408A (en) Prediction method and device for number-carrying network-transfer user and electronic equipment

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21715586

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21715586

Country of ref document: EP

Kind code of ref document: A1