WO2005083628A2 - Mesure de l'importance des variables ayant servi a l'elaboration d'une modelisation - Google Patents

Mesure de l'importance des variables ayant servi a l'elaboration d'une modelisation Download PDF

Info

Publication number
WO2005083628A2
WO2005083628A2 PCT/FR2005/000177 FR2005000177W WO2005083628A2 WO 2005083628 A2 WO2005083628 A2 WO 2005083628A2 FR 2005000177 W FR2005000177 W FR 2005000177W WO 2005083628 A2 WO2005083628 A2 WO 2005083628A2
Authority
WO
WIPO (PCT)
Prior art keywords
input
variable
model
variables
disturbed
Prior art date
Application number
PCT/FR2005/000177
Other languages
English (en)
Other versions
WO2005083628A3 (fr
Inventor
Vincent Lemaire
Fabrice Clerot
Original Assignee
France Telecom
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by France Telecom filed Critical France Telecom
Publication of WO2005083628A2 publication Critical patent/WO2005083628A2/fr
Publication of WO2005083628A3 publication Critical patent/WO2005083628A3/fr

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/211—Selection of the most significant subset of features

Definitions

  • the invention relates to the field of machine learning and in particular a method for measuring the importance of variables used in the development of a predictive classification or regression model.
  • the invention therefore relates, in addition to machine learning in the strict sense, also to the selection of variables, the use of data and decision support.
  • the field of machine learning today is full of r techniques capable of effectively solving regression and / or classification problems. Generally these techniques use all the variables available to build the model and are unable to indicate a posteriori which variables have actually contributed to the performance of the model, which results in models that are both oversized and therefore slow and not allowing any interpretation of the results.
  • the problem of variable selection has become the focus of much research in the application sectors for which the available databases include tens or even hundreds of thousands of variables.
  • said method being characterized in that it calls for the development of an average of a random value, this random value being a difference between on the one hand an output obtained for a vector of input variables considered and on the other hand an output obtained for a disturbed input vector, this disturbed input vector being defined as being said input vector considered in which the value of said input variable whose importance is to be measured is a disturbed value, the mean being in additionally calculated by applying to each said random value considered, both the probability of appearance of the input vector considered as well as the probability of appearance of the disturbed value of the variable, the mean of the random value being carried out on l set of a probability distribution of the input vectors and over the whole of a probability distribution of the values of the input variable.
  • FIG. 1 is an illustrative block diagram of the method according to the invention
  • - Figure 2 is an illustrative flowchart of a method for selecting variables implementing the invention
  • - Figure 3 is a plot representing an error measured in relation to the number of variables implemented after selection by the method of Figure 2.
  • (v) is the probability distribution of the vectors I.
  • fj (a; b) f
  • (a a a n ; b) f a (a, ... aj. ⁇ > b, a j + ⁇ , ... a n )
  • Vj the probability density function
  • FIG. 1 which symbolizes the operation of calculating the average, in the form of an adder 30, then takes its literal meaning.
  • the illustration in FIG. 1 which symbolizes the operation of calculating the average, in the form of an adder 30, then takes its literal meaning.
  • This process was applied to the selection of variables by a “minor elimination”, the importance measurement being redone after each elimination of the variable and relearning.
  • the backward-elimination algorithm is illustrated by the flowchart in FIG. 2.
  • the process of measuring the importance of the variable takes place there in the shaded phase.
  • the following steps are carried out iteratively: a) measuring the importance of each input variable implemented in the previous iteration (step 100 in FIG.
  • step 200 in FIG. 2 b) elimination of one or more minor input values (step 200 in FIG. 2); c) implemented a relearning of the model as a function of the remaining variables (step 300 in FIG. 2).
  • steps 300 in FIG. 2 are repeated until all the variables are eliminated, and, for each iteration, a measurement is made of the error of the results obtained by the module with reduced number of variables compared to results. considered ideal. The termination of these iterations is defined, in the end, by the fact that there is no longer any input variable.
  • a plot of the error observed as a function of the number of variables used this number of variables ranging from the maximum number of variables available (here 280) to a number of variables reduced to 0.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Complex Calculations (AREA)
  • Length Measuring Devices With Unspecified Measuring Means (AREA)

Abstract

L'invention concerne un procédé de mesure de l'importance d'une variable d'entrée sur le fonctionnement d'un modèle à apprentissage automatique, apte à élaborer des données de sortie à partir de données d'entrée par un traitement que ledit modèle est prévu pour apprendre lui-même, ledit procédé étant caractérisé en ce qu'il fait appel à l'élaboration d'une moyenne d'une valeur aléatoire (30), cette valeur aléatoire étant une différence (20) entre d'une part une sortie obtenue pour un vecteur de variables d'entrée considéré et d'autre part une sortie obtenue pour un vecteur d'entrée perturbé (10), ce vecteur d'entrée perturbé étant défini comme étant ledit vecteur d'entrée considéré dans lequel la valeur de ladite variable d'entrée dont on souhaite mesurer l'importance est une valeur perturbée, la moyenne étant en outre calculée en appliquant à chaque dite valeur aléatoire considérée, à la fois la probabilité d'apparition du vecteur d'entrée considéré ainsi que la probabilité d'apparition de la valeur perturbée de la variable, la moyenne de la valeur aléatoire étant effectuée sur l'ensemble d'une distribution de probabilités des vecteurs d'entrée et sur l'ensemble d'une distribution de probabilités des valeurs de la variable d'entrée.

Description

MESURE DE L'IMPORTANCE DES VARIABLES AYANT SERVI A L'ELABORATION D'UNE MODALISATION
L'invention concerne le domaine de l'apprentissage automatique et notamment un procédé permettant de mesurer l'importance de variables ayant servi à l'élaboration d'un modèle prédictif de classification ou de régression. L'invention concerne donc, outre l'apprentissage automatique au sens strict, également la sélection de variables, l'exploitation de données et l'aide à la décision. Le domaine de l'apprentissage automatique regorge aujourd'hui de r techniques capables de résoudre efficacement des problèmes de régression et/ou de classification. Généralement ces techniques emploient la totalité des variables disponibles pour construire le modèle et sont incapables d'indiquer à posteriori quelles sont les variables qui ont effectivement contribué à la performance du modèle, ce qui résulte en des modèles à la fois sur- dimensionnés donc lents et ne permettant aucune interprétation des résultats. Le problème de la sélection de variables est devenu le centre de beaucoup de recherches dans les secteurs applicatifs pour lesquels les bases de données disponibles comportent des dizaines voir des centaines de milliers de variables. Ces secteurs incluent le traitement des données textuelles, des documents d'Internet, l'expression des gènes, la clasificatin de la fraude, etc. L'objectif du choix des variables est triple : améliorer la performance des prédicteurs, fournir des prédicteurs plus rapides et plus rentables et permettre une meilleure compréhension du processus sous-jacent qui a produit les données. Parmi les techniques dédiées au choix des variables, nous trouvons les méthodes qui sélectionnent les variables en les classant selon des coefficients de corrélation (« filtrer ») et les méthodes consistant à choisir un sous-ensemble optimal de variables (« wrapper »). Celles-ci incluent les méthodes qui évaluent les sous-ensembles de variables selon leur utilité à un modèle donné. Les méthodes « wrapper » utilisent le modèle élaboré comme une boîte noire pour ordonner les sous-ensembles de variables selon leur utilité à la tache de modélisation. En pratique, on a besoin de définir : (i) comment rechercher dans l'espace possible des sous-ensembles de variables, (ii) comment évaluer la performance en termes de prédiction d'une machine à apprendre pour guider la recherche et interrompre la recherche, et (iii) quel prédicteur utiliser. On considérera notamment les enseignements suivants : [1] Article : « A methodology to explain neural network classification » - Neural Networks 15 (2002) 237-246 [2] Article : "Explaining Results of Neural Networks by Conceptual
Importance and Utility" Proceedings of the AISV'96 conférence, 1-2 April 1996. Brighton UK, 1996. Les principaux écueils des méthodes antérieures sont l'absence de prise en compte de la distribution de probabilité des variables dont on cherche l'importance et la non-applicabilité à la régression. Le procédé proposé en [2] est insatisfaisant car il fait la supposition d'une variation strictement monotone croissante à la sortie d'un modèle lorsqu'on fait varier une variable de façon strictement monotone croissante. Le procédé proposé dans le document [1], quant à lui, ne permet pas de résoudre les problèmes inhérents aux méthodes existantes alors, en prenant compte la distribution de probabilité des variables dont on cherche l'importance. De plus, il n'est pas applicable aux problèmes de régression. Les auteurs de [1] proposent de mesurer l'importance des variables utilisées au cours de la phase de modélisation selon les termes suivants, nous les citons :
« Pour tenir compte des valeurs possibles de la variable d'entrée, nous utiisons :: S(xi|f)= j Jal •f P(xi)P(a|xi)(f(xi +a) -f(Xi))dx; da 'X: ' où P(a|x;) est une antériorité sur les valeurs possibles de x,- : x,- qui peut être- discrète, positive, liée, etc. La connaissance nécessaire pour définir l'antériorité dépend seulement du type de la variable d'entrée. Par exemple, pour une variable binaire, l'antériorité peut être : P(Xj+a=1) = Y et P(Xj+a~0 ~ Vz) et O ailleurs". Or l'utilisation d'un prior ne permet pas de prendre en compte le vrai intervalle de variation d'une variable. On vise, par la présente invention, une mesure plus efficace de l'importance des variables ayant servi à l'élaboration d'une modélisation (classification ou régression). L'invention vise ainsi à permettre d'exploiter des classifieurs/régresseurs, en menant une analyse à posteriori de l'importance des variables, et en mettant ensuite en œuvre des classifieurs/régresseurs utilisant peu de variables mais ayant des performances similaires (voire meilleures) à ceux utilisant toutes les variables. En d'autres termes, en mesurant l'importance des variables, il est possible d'éliminer les variables ne participant pas (ou très peu) à l'élaboration du résultat (régression ou classification). Les modèles que l'invention permet d'obtenir sont plus économes en mémoire et en temps de calcul, ainsi que plus rapide. Le fait de connaître les variables importantes permet aussi de réduire la taille des bases de données. Cette efficacité est atteinte selon l'invention grâce à un procédé de mesure de l'importance d'une variable d'entrée sur le fonctionnement d'un modèle à apprentissage automatique, apte à élaborer des données de sortie à partir de données d'entrée par un traitement que ledit modèle est prévu pour apprendre lui-même, ledit procédé étant caractérisé en ce qu'il fait appel à l'élaboration d'une moyenne d'une valeur aléatoire, cette valeur aléatoire étant une différence entre d'une part une sortie obtenue pour un vecteur de variables d'entrée considéré et d'autre part une sortie obtenue pour un vecteur d'entrée perturbé, ce vecteur d'entrée perturbé étant défini comme étant ledit vecteur d'entrée considéré dans lequel la valeur de ladite variable d'entrée dont on souhaite mesurer l'importance est une valeur perturbée, la moyenne étant en outre calculée en appliquant à chaque dite valeur aléatoire considérée, à la fois la probabilité d'apparition du vecteur d'entrée considéré ainsi que la probabilité d'apparition de la valeur perturbée de la variable, la moyenne de la valeur aléatoire étant effectuée sur l'ensemble d'une distribution de probabilités des vecteurs d'entrée et sur l'ensemble d'une distribution de probabilités des valeurs de la variable d'entrée. D'autres caractéristiques, buts et avantages de l'invention apparaîtront à la lecture de la description détaillée qui va suivre, faite en référence aux figures annexées sur lesquelles : - la figure 1 est un schéma fonctionnel illustratif du procédé selon l'invention ; - la figure 2 est un organigramme illustratif d'un procédé de sélection de variables mettant en oeuvre l'invention ; - la figure 3 est un tracé représentant une erreur mesurée en relation avec le nombre de variables mises en œuvre après sélection par le procédé de la figure 2. Le procédé ci-après décrit permet de résoudre les problèmes inhérents aux méthodes existantes en prenant en compte la distribution de probabilité des variables dont on cherche l'importance et en étant applicable, de plus, aux problèmes de régression. II permet d'ordonner les sous-ensembles de variables selon leur utilité à la tâche de modélisation en mesurant l'importance des variables ayant servi à l'élaboration d'un modèle prédictif de classification ou de régression. Pour cela, on met ici en œuvre le fait que l'importance d'une variable s'avère être à la fois fonction de la distribution de probabilité des exemples (vecteur de variables d'entrées effectivement apparus, lj sur la figure 1 ) et à la fois fonction de la distribution de probabilité de la variable en question (Vj sur la figure 1 ). On définit l'importance d'une variable comme étant la moyenne des variations mesurées en sortie du modèle lorsqu'on perturbe les exemples effectivement apparus en fonction de la distribution de probabilité de cette variable Vj. La sortie perturbée du modèle symbolisé par une fonction f, est définie pour un exemple Ij comme étant la sortie du modèle pour cet exemple \\ mais en ayant échangé la composante j de cet exemple par l'une des valeurs, V , de la variable Vj. Cette étape d'élaboration d'une entrée perturbée est illustrée à la figure 1 sous la référence 10. La variation mesurée, pour l'exemple Ij est donc la différence entre la
« vraie sortie » du modèle f(lι, ly) pour l'exemple Ij et la « sortie perturbée » du modèle, notée alors f(l|, Ikj) où I j est l'exemple (vecteur d'entrée perturbée). Cette différence est effectuée à l'étape 20 sur la figure 1 , symbolisée par un soustracteur. L'importance de la variable Vj est ensuite considérée comme étant la moyenne des différences données par
Figure imgf000007_0001
— f(Ij,Ikj)|, où la moyenne est calculée sur la distribution de probabilité des exemples et sur la distribution de probabilité de la variable Vj. Cette moyenne est calculée à l'étape 30 sur la figure 1 , ici symbolisé par un additionneur. On décrira maintenant une telle approche en termes mathématiques. Les équations ci-après spécifiées font pour cela appel aux paramètres suivants : - j est la variable dont on cherche l'importance ; - Vy est une réalisation de la variable j ; - 1 est un vecteur de dimension n, c'est à dire un exemple ayant servi à la construction du modèle ; - Im est un vecteur m ; - im est la composante I du vecteur m - f est le modèle réalisé. - Pv. (u) est la distribution de probabilité de la variable Vj - P|(v) est la distribution de probabilité des vecteurs I. On pose en outre fj(a ;b) = f|(aι an ; b) = fι(aι,...aj.ι> b, aj+ι, ... an)
; ap étant la P'eme composante du vecteur a. On définit ici l'importance de la variable Vj pour le modèle f comme étant :
s(Nj |f)
Figure imgf000008_0001
O dύP, (v)dv j f j cιi;ifcj)-fjCii;iïj)| ]
Dans un mode de réalisation préférentiel car de mise en œuvre particulièrement aisée, la façon de mesurer cette espérance S(Vj | f) est la suivante : on réalise simultanément des tirages de I et de Vj qui permettent d'observer des réalisations de αm= | f(lj, ly)-f(li, Ikj) I • . Dans ce cas, on applique des lois de distribution de probabilité sur le vecteur et la variable en réalisant simplement des tirages mettant en œuvre directement cette probabilité. La mesure de l'espérance de αm est alors réalisé par filtrage. On utilise pour cela, par exemple, un filtre de Kalman jusqu'à convergence. Un autre exemple de mise en œuvre de la mesure de cette espérance est la suivante. Si on approxime la distribution des exemples à l'aide de la base de données disponible (comportant M exemples) et qui a servi à construire le modèle. On peut réécrire S(Vj I f) sous la forme :
S(Vj|f)
Figure imgf000008_0002
/PVj(u)d [| fj(Ii;Ikj)-fj(Ii;Iij)| ]
s(V |f) ~ 1V1∑ M (E{ |fjα,;i 1(,)-fJα,;i β Si on approxime la distribution de probabilités Pv. (u) de la variable j à l'aide d'une statistique d'ordres (par exemple les centiles, P=100) on a alors :
Figure imgf000008_0003
L'illustration de la figure 1 , qui symbolise l'opération de calcul de la moyenne, sous la forme d'un additionneur 30, prend alors sa signification littérale. On reportera maintenant l'évaluation d'une telle mesure de l'importance des variables dans le cas où le modèle est élaboré, et mis en œuvre, par un réseau de neurones de type perceptron à une couche cachée. Ce procédé y a été appliqué à la sélection de variables par une « élimination de moindre importance », la mesure d'importance étant refaite après chaque élimination de variable et réapprentissage. L'algorithme de backward-elimination est illustré par l'organigramme de la figure 2. Le procédé de mesure de l'importance de variable y intervient dans la phase grisée. Sur cet organigramme, on réalise de manière itérative les étapes suivantes : a) mesure de l'importance de chaque variable d'entrée mise en œuvre à l'itération précédente (étape 100 sur la figure 2) ; b) élimination d'une ou plusieurs valeurs d'entrée de moindre importance (étape 200 sur la figure 2) ; c) mis en œuvre d'un réapprentissage du modèle en fonction des variables restantes (étape 300 sur la figure 2). En outre, ces étapes sont répétées jusqu'à ce que l'ensemble des variables soit éliminé, et, pour chaque itération, on réalise une mesure de l'erreur des résultats obtenus par le module à nombre de variable réduit par rapport à des résultats considérés comme idéaux. L'arrêt de ces itérations est défini, au final, par le fait qu'il n'existe plus aucune variable en entrée. On obtient enfin un tracé de l'erreur constatée en fonction du nombre de variables mis en œuvre, ce nombre de variables s'étalant du nombre maximal de variables disponibles (ici 280) jusqu'à un nombre de variables réduit à 0. Ce tracé présentant l'influence du nombre de variables conservées est présenté à la figure 3. On voit alors apparaître, sur ce cas réel qu'il ne sert à rien d'utiliser toutes les variables disponibles. En effet, il est possible d'obtenir le même niveau d'erreur en utilisant seulement 55 variables (aux points A et A' du tracé) plutôt qu'en utilisant les variables de départ (aux points B et B' du tracé). On obtient même une erreur inférieure à celle de départ pour un nombre de variables égal à 120 (points C et C du tracé). Le procédé décrit est mis en œuvre par un programme d'ordinateur qui comporte des moyens de codage pour mettre en œuvre ledit procédé. Ce programme d'ordinateur est destiné à être stocké dans / ou transmis par un support de données, et comporte des instructions logicielles pour faire exécuter le procédé par un dispositif informatique, en l'espèce, le dispositif de mesure décrit.

Claims

REVENDICATIONS
1. Procédé de mesure de l'importance d'une variable d'entrée sur le fonctionnement d'un modèle à apprentissage automatique, apte à élaborer des données de sortie à partir de données d'entrée par un traitement que ledit modèle est prévu pour apprendre lui-même, ledit procédé étant caractérisé en ce qu'il fait appel à l'élaboration d'une moyenne d'une valeur aléatoire (30), cette valeur aléatoire étant une différence (20) entre d'une part une sortie obtenue pour un vecteur de variables d'entrée considéré et d'autre part une sortie obtenue pour un vecteur d'entrée perturbé (10), ce vecteur d'entrée perturbé étant défini comme étant ledit vecteur d'entrée considéré dans lequel la valeur de ladite variable d'entrée dont on souhaite mesurer l'importance est une valeur perturbée, la moyenne étant en outre calculée en appliquant à chaque dite valeur aléatoire considérée, à la fois la probabilité d'apparition du vecteur d'entrée considéré ainsi que la probabilité d'apparition de la valeur perturbée de la variable, la moyenne de la valeur aléatoire étant effectuée sur l'ensemble d'une distribution de probabilités des vecteurs d'entrée et sur l'ensemble d'une distribution de probabilités des valeurs de la variable d'entrée.
2. Procédé de mesure selon la revendication 1 , caractérisé en ce que l'importance de la variable d'entrée est donnée par l'expression : s(Nj |f)
Figure imgf000011_0001
(u)duPI (v)dv| f j (i, ; ιkj ) - f - ~i ; )| ] où f est une fonction représentant le modèle, Vj est la variable dont on souhaite mesurer l'importance, Pv.(u) est la distribution de probabilité de la variable Vj, Ij est un vecteur d'entrée du modèle, Pj(v) est la distribution de probabilité des vecteurs I, Ikj est le vecteur perturbé.
3. Procédé de mesure selon la revendication 1 ou la revendication 2, caractérisé en ce que lesdites probabilités sont appliquées en calculant la moyenne sur des tirages, pour chaque différence, des vecteurs d'entrée et/ou de la variable d'entrée utilisée pour perturber le vecteur d'entrée.
4. Procédé selon l'une quelconque des revendications précédentes, caractérisé en ce que le modèle est mis en œuvre par un réseau de neurones.
5. Procédé selon la revendication 4, caractérisé en ce que le réseau de neurones est un réseau de type perceptron à une couche cachée.
6. Procédé de sélection de variables mises en œuvre dans un modèle à apprentissage automatique, apte à élaborer des données de sortie à partir de données d'entrée par un traitement que ledit modèle est prévu pour apprendre lui-même, ledit procédé de sélection incluant le procédé de mesure selon la revendication 1 , le procédé de sélection étant caractérisé en ce qu'il consiste à mettre en œuvre, de manière répétitive la série d'étapes suivantes : a) mesure de l'importance des variables d'entrée mises en œuvre à l'itération précédente, par la mise en œuvre dudit procédé de mesure (100); b) élimination d'une ou plusieurs variables d'entrée de moindre importance (200) ; c) mise en œuvre d'un réapprentissage du modèle en fonction des variables restantes (300).
7. Procédé de sélection de variables selon la revendication 6, caractérisé en ce qu'il comprend en outre l'étape consistant à effectuer une évaluation de niveau d'erreur du modèle obtenu à chaque itération, et à comparer les niveaux d'erreurs (A, A', B, B', C, C), pour ces différents modèles obtenus à chaque itération.
8. Dispositif de mesure de l'importance d'une variable d'entrée sur le fonctionnement d'un modèle à apprentissage automatique apte à élaborer des données de sortie à partir de données d'entrée par un traitement que ledit modèle est prévu pour apprendre lui-même, ledit dispositif étant essentiellement constitué d'une mémoire et d'un processeur ainsi que d'un ensemble de moyens de commande de ce processeur et de cette mémoire, ledit dispositif de mesure étant caractérisé en ce qu'il comprend des moyens d'élaboration d'une moyenne d'une valeur aléatoire (30), cette valeur aléatoire étant une différence (20) entre d'une part une sortie obtenue pour un vecteur de variables d'entrée considéré et d'autre part une sortie obtenue pour un vecteur d'entrée perturbé (10), ce vecteur d'entrée perturbé étant défini comme étant ledit vecteur d'entrée considéré dans lequel la valeur de ladite variable d'entrée dont on souhaite mesurer l'importance est une valeur perturbée, ledit dispositif de mesure comprenant des moyens prévus pour calculer la moyenne en appliquant à chaque dite valeur aléatoire considérée, à la fois la probabilité d'apparition du vecteur d'entrée considéré ainsi que la probabilité d'apparition de la valeur perturbée de la variable, la moyenne de la valeur aléatoire étant effectuée sur l'ensemble d'une distribution de probabilités des vecteurs d'entrée et sur l'ensemble d'une distribution de probabilités des valeurs de la variable d'entrée.
9. Dispositif selon la revendication 8, caractérisé en ce qu'il inclut également un moyen associé mettant en œuvre ledit modèle, ce moyen associé étant constitué par un réseau de neurones.
10. Programme d'ordinateur comportant des moyens de codage pour mettre en œuvre le procédé de mesure selon l'une des revendications 1 à 7.
PCT/FR2005/000177 2004-01-27 2005-01-27 Mesure de l'importance des variables ayant servi a l'elaboration d'une modelisation WO2005083628A2 (fr)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR0400736A FR2865562A1 (fr) 2004-01-27 2004-01-27 Mesure de l'importance des variables ayant servi a l'elaboration d'une modelisation.
FR0400736 2004-01-27

Publications (2)

Publication Number Publication Date
WO2005083628A2 true WO2005083628A2 (fr) 2005-09-09
WO2005083628A3 WO2005083628A3 (fr) 2006-09-14

Family

ID=34717434

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/FR2005/000177 WO2005083628A2 (fr) 2004-01-27 2005-01-27 Mesure de l'importance des variables ayant servi a l'elaboration d'une modelisation

Country Status (2)

Country Link
FR (1) FR2865562A1 (fr)
WO (1) WO2005083628A2 (fr)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2884631A1 (fr) * 2005-04-19 2006-10-20 Bernard Hendrickx Procede d'analyse de grandeurs representatives de comportements globaux donnant une representation quantifiee d'un systeme complexe

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5150450A (en) * 1990-10-01 1992-09-22 The United States Of America As Represented By The Secretary Of The Navy Method and circuits for neuron perturbation in artificial neural network memory modification
WO1997042581A1 (fr) * 1996-05-08 1997-11-13 Fisher-Rosemount Systems, Inc. Systeme et methode permettant de fixer automatiquement un ensemble de variables a utiliser pour la creation d'un modele de processus
DE19721067C1 (de) * 1997-05-20 1998-09-17 Siemens Nixdorf Advanced Techn Stochastischer Schätzer, insbesondere zur Analyse von Kundenverhalten
FR2765705A1 (fr) * 1997-07-02 1999-01-08 Inf Cdc Procede de construction d'un reseau de neurones pour la modelisation d'un phenomene

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5150450A (en) * 1990-10-01 1992-09-22 The United States Of America As Represented By The Secretary Of The Navy Method and circuits for neuron perturbation in artificial neural network memory modification
WO1997042581A1 (fr) * 1996-05-08 1997-11-13 Fisher-Rosemount Systems, Inc. Systeme et methode permettant de fixer automatiquement un ensemble de variables a utiliser pour la creation d'un modele de processus
DE19721067C1 (de) * 1997-05-20 1998-09-17 Siemens Nixdorf Advanced Techn Stochastischer Schätzer, insbesondere zur Analyse von Kundenverhalten
FR2765705A1 (fr) * 1997-07-02 1999-01-08 Inf Cdc Procede de construction d'un reseau de neurones pour la modelisation d'un phenomene

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
FERAUD R ET AL: "A methodology to explain neural network classification" NEURAL NETWORKS, ELSEVIER SCIENCE PUBLISHERS, BARKING, GB, vol. 15, no. 2, mars 2002 (2002-03), pages 237-246, XP004344133 ISSN: 0893-6080 cité dans la demande *
LEMAIRE V ET AL: "An input variable importance definition based on empirical data probability and its use in variable selection" 2004 IEEE INTERNATIONAL JOINT CONFERENCE ON NEURAL NETWORKS (IEEE CAT. NO.04CH37541) IEEE PISCATAWAY, NJ, USA, vol. 2, 29 juillet 2004 (2004-07-29), pages 1375-1380, XP002388134 ISBN: 0-7803-8359-1 *

Also Published As

Publication number Publication date
FR2865562A1 (fr) 2005-07-29
WO2005083628A3 (fr) 2006-09-14

Similar Documents

Publication Publication Date Title
EP3877912A1 (fr) Procédé de construction de réseau de neurones pour la simulation de systèmes physiques
EP0514986B1 (fr) Procédé d'apprentissage d'un réseau de neurones et dispositif de classification pour la mise en oeuvre de ce procédé
WO2020208153A1 (fr) Procede de definition d'un chemin
EP3633545A1 (fr) Procedes d'apprentissage de parametres d'un reseau de neurones a convolution, de detection d'elements d'interet visibles dans une image et d'association d'elements d'interet visibles dans une image
CN114299305A (zh) 聚合密集和注意力多尺度特征的显著性目标检测算法
WO2020094995A1 (fr) Procédé de construction de réseau de neurones pour la simulation de systèmes physiques
WO2005083628A2 (fr) Mesure de l'importance des variables ayant servi a l'elaboration d'une modelisation
EP3660748A1 (fr) Procédé d'analyse d'un jeu de paramètres d'un réseau de neurones en vue d'obtenir une amélioration technique, par exemple un gain en mémoire
EP3764286A1 (fr) Procédé et outil informatique de détermination de fonctions de transferts entre des paires de couches successives d'un réseau de neurones
EP3966739B1 (fr) Procédé d'analyse automatique d'images pour reconnaître automatiquement au moins une caractéristique rare
EP4012620A1 (fr) Méthode d'apprentissage automatique par transfert
WO2021094694A1 (fr) Procédé de détermination d'une fonction de prédiction mettant en œuvre un réseau de neurones, et procédé de traitement associé
FR3123748A1 (fr) Apprentissage automatique sans annotation ameliore par regroupements adaptatifs en ensemble ouvert de classes
FR3039677A1 (fr) Procede de conception de pieces mecaniques, notamment d'aubes de turbomachine
FR3080932A1 (fr) Procede de generation automatique de reseaux de neurones artificiels
Arlot Contributions to statistical learning theory: estimator selection and change-point detection
FR3120966A1 (fr) Classification de pannes inconnues dans un système de communications électroniques
FR3137475A1 (fr) Procédé et dispositif d’estimation de l’authenticité d’un contenu audio ou vidéo et programme d’ordinateur associé
WO2024068534A1 (fr) Procédé de détermination d'une solution à un problème d'optimisation
FR2765705A1 (fr) Procede de construction d'un reseau de neurones pour la modelisation d'un phenomene
FR3136299A1 (fr) Procédé d’optimisation des hyperparamètres d’un modèle d’apprentissage automatique
FR3133937A1 (fr) Procédé et dispositif d’entraînement d’une structure de neurones artificiels et programme d’ordinateur associé
EP3920101A1 (fr) Methode de reduction de la taille d'un reseau de neurones artificiel
EP4202784A1 (fr) Procédé de mise au point d'un dispositif de prédiction, procédé et système associés
EP4012619A1 (fr) Méthode de compression d'un réseau de neurones artificiel

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A2

Designated state(s): AE AG AL AM AT AU AZ BA BB BG BR BW BY BZ CA CH CN CO CR CU CZ DE DK DM DZ EC EE EG ES FI GB GD GE GH GM HR HU ID IL IN IS JP KE KG KP KR KZ LC LK LR LS LT LU LV MA MD MG MK MN MW MX MZ NA NI NO NZ OM PG PH PL PT RO RU SC SD SE SG SK SL SM SY TJ TM TN TR TT TZ UA UG US UZ VC VN YU ZA ZM ZW

AL Designated countries for regional patents

Kind code of ref document: A2

Designated state(s): BW GH GM KE LS MW MZ NA SD SL SZ TZ UG ZM ZW AM AZ BY KG KZ MD RU TJ TM AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IS IT LT LU MC NL PL PT RO SE SI SK TR BF BJ CF CG CI CM GA GN GQ GW ML MR NE SN TD TG

121 Ep: the epo has been informed by wipo that ep was designated in this application
NENP Non-entry into the national phase

Ref country code: DE

WWW Wipo information: withdrawn in national office

Country of ref document: DE

122 Ep: pct application non-entry in european phase