WO2022214523A1 - Procédé et kit pour la reconnaissance d'un utilisateur d'un article chaussant ou d'une activité pratiquée par un utilisateur d'un article chaussant - Google Patents

Procédé et kit pour la reconnaissance d'un utilisateur d'un article chaussant ou d'une activité pratiquée par un utilisateur d'un article chaussant Download PDF

Info

Publication number
WO2022214523A1
WO2022214523A1 PCT/EP2022/059073 EP2022059073W WO2022214523A1 WO 2022214523 A1 WO2022214523 A1 WO 2022214523A1 EP 2022059073 W EP2022059073 W EP 2022059073W WO 2022214523 A1 WO2022214523 A1 WO 2022214523A1
Authority
WO
WIPO (PCT)
Prior art keywords
sensor data
user
raw sensor
representation vector
footwear
Prior art date
Application number
PCT/EP2022/059073
Other languages
English (en)
Other versions
WO2022214523A9 (fr
Inventor
Karim Oumnia
Radouane OUDRHIRI
Original Assignee
Zhor Tech
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhor Tech filed Critical Zhor Tech
Priority to EP22716433.2A priority Critical patent/EP4305546A1/fr
Priority to US18/285,843 priority patent/US20240184856A1/en
Publication of WO2022214523A1 publication Critical patent/WO2022214523A1/fr
Publication of WO2022214523A9 publication Critical patent/WO2022214523A9/fr

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • A—HUMAN NECESSITIES
    • A43—FOOTWEAR
    • A43B—CHARACTERISTIC FEATURES OF FOOTWEAR; PARTS OF FOOTWEAR
    • A43B3/00—Footwear characterised by the shape or the use
    • A43B3/34—Footwear characterised by the shape or the use with electrical or electronic arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/0895—Weakly supervised learning, e.g. semi-supervised or self-supervised learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12—Classification; Matching

Definitions

  • the invention relates to the field of the practice of activities.
  • it relates to a method and a kit for recognizing a subject or the different activities that a subject performs.
  • a high level of activity is beneficial for the maintenance of health.
  • the invention aims to solve, at least partially, this need.
  • the invention relates to a method for recognizing a user of an article of footwear or an activity practiced by a user of an article of footwear.
  • the article of footwear comprises a pair of shoes and at least one sensor positioned on or in the pair of shoes so as to generate a flow of raw sensor data in response to at least one biomechanical movement of the user during the practice of an activity.
  • the method includes: - a step for receiving a flow of raw sensor data, - a step of projecting at least one segment of the raw sensor data stream into a representation vector space ("embedding" in English) so as to obtain a representation vector having a predetermined size and reduced with respect to the dimension received raw sensor data, and - a step of classifying the raw sensor data received from the representation vector and a classifier trained by machine learning to provide a prediction of membership of the segment of the raw sensor data stream to a user class or a class of activity practiced by the user.
  • a representation vector space "embedding" in English
  • the projection step includes using a trained bidirectional recurrent neural network (RNN) to generate a representation vector from raw sensor data.
  • RNN bidirectional recurrent neural network
  • the bidirectional recurrent neural network is a bidirectional long-short-term memory (LSTM) network that uses a triplet loss function.
  • LSTM long-short-term memory
  • the representation vector space is a user embedding vector space and the representation vector is a user representation vector.
  • the representation vector space is an activity embedding vector space and the representation vector is an activity representation vector.
  • the machine-learning trained classifier includes a random forest classifier or a regression-based classifier.
  • the raw data includes at least one type of data selected from: force sensor data, gyroscope sensor data, gyrometer sensor data, accelerometer sensor data.
  • each segment of the raw sensor data stream has a temporal duration of at least 500 ms, preferably one second.
  • the article of footwear comprises at least one processor and the method is carried out by the processor.
  • the article of footwear comprises at least one wireless connection module and the method is carried out by a smart phone or a computing cloud connected wirelessly with the wireless connection module.
  • the invention also relates to a kit which comprises: - at least one sensor which is adapted to be positioned on or in an article of footwear comprising a pair of shoes so as to generate a flow of raw sensor data in response to at least one biomechanical movement of the user during the practice of an activity, the raw sensor data comprising a plurality of types of data that is representative of a movement of a foot of the user, - at least one processor configured to execute a process, and - at least one memory configured to store the process executable by the processor, the process, when it is executed, being configured for: - receive a stream of raw sensor data, - projecting at least one segment of the raw sensor data stream into a representation vector space ("embedding" in English) so as to obtain a representation vector having a predetermined and reduced size compared to the dimension of the raw sensor data received, - classifying the raw sensor data received from the representation vector and a classifier trained by machine learning to provide a prediction of membership of the segment of the raw sensor data stream to a user class or
  • the processor is disposed at least partially inside the article of footwear.
  • the item of footwear further comprises at least one wireless connection module, and wherein the processor is comprised in a device wirelessly connected with the wireless connection module and selected from: a smart phone or a cloud computing.
  • One of the objectives of this invention is to facilitate the detection of a user of an article of footwear or of an activity carried out by a user of an article of footwear.
  • footwear in the sense of the invention a pair, for example, of shoes, each shoe being intended for one foot of the user.
  • the inventors propose to use raw data from footwear sensors that are provided to a classifier trained by machine learning.
  • the invention uses the so-called “embedding” method to project the raw data into a data representation space that is suitable for the desired classification.
  • the invention relates to a method 100 for recognizing a subject or the different activities that a subject practices.
  • the activity is chosen from: football, basketball, table tennis, badminton, walking, running.
  • the activity may relate to other disciplines which require the use of an article of footwear, and this, without requiring substantial modifications of the invention.
  • the article of footwear comprises a pair of shoes.
  • the item of footwear may include a pair of insoles.
  • the method 100 is implemented from a stream of raw data from one or more sensors positioned on or in a pair of shoes, for example at least partly in a sole.
  • the present invention in these different embodiments, preferred or not, could be applied in the case where the sensors are not integrated into a sole. It could in particular be applied when the sensor or sensors are positioned on a shoe, for example at the level of the tongue, the upper or the heel counter of a shoe.
  • the insole 200 comprises at least one processor 310.
  • the processor 310 carries out the method 100.
  • the insole 200 comprises at least one wireless connection module 330.
  • the method 100 is implemented by a remote device.
  • a smart phone 400 connected wirelessly with the wireless connection module 330 performs the method 100.
  • a cloud computing 500 connected wirelessly with the wireless connection module 330 performs the method 100.
  • each insole 200 comprises at least one sensor 210.
  • each insole 200 comprises at least two sensors 210.
  • the use of several sensors on or in each of the shoes coupled to the use of a representation vector having a predetermined size makes it possible to improve recognition.
  • sensor 210 is a force sensor.
  • sensor 210 is a single or multi-axis motion gyroscope sensor.
  • sensor 210 is a single or multi-axis motion gyroscope sensor.
  • sensor 210 is a single or multi-axis accelerometer sensor.
  • the senor 210 is arranged at least partially inside the insole 200.
  • the insole 200 can correspond to a removable sole or to an intermediate sole.
  • the senor 210 is configured to generate a stream of raw sensor data in response to at least one biomechanical movement of the user during the practice of an activity.
  • biomechanical movement we mean in the sense of the invention a characteristic of the user's posture or mobility, which can in particular be determined at a key moment in a cycle and therefore more complex to determine.
  • a cycle being able for example to be a walking cycle.
  • activities such as stepping, climbing a step, descending a step, stride, jump, flat, droop, stomp, kneel... Therefore, a cycle can also correspond to a plurality of activities of different types depending on the complexity of the movement performed by the user.
  • the raw sensor data stream includes a plurality of data types that are representative of movement of a user's foot.
  • the raw sensor data includes at least one type of data selected from: force sensor data, gyroscope sensor data, gyrometer sensor data, accelerometer sensor data.
  • the raw sensor data is sampled at a predetermined frequency greater than 50 Hz, preferably greater than or equal to 100 Hz.
  • the method 100 firstly comprises a step 110 of receiving a stream of raw sensor data.
  • the flow of raw sensor data is received as a function of time during the practice of an activity by a user of the footwear.
  • the raw sensor data stream comprises a plurality of segments.
  • each segment of the raw sensor data stream has a temporal duration of at least 100 ms, at least 500 ms, preferably one second.
  • each segment of the raw sensor data stream has a time duration of at most ten seconds, preferably at most 5 seconds.
  • the method 100 includes a step 120 of projecting at least one segment of the raw sensor data stream into a representation vector space (also known as the “embedding” method) of so as to obtain a representation vector which has a predetermined and reduced size with respect to the size of the raw sensor data received.
  • a representation vector space also known as the “embedding” method
  • vector space of representation we mean the projection of a vector (often large) which represents a categorical variable (e.g. a user or an activity practiced by a user) in a new space of controlled size which models the relations between the different categories.
  • a categorical variable e.g. a user or an activity practiced by a user
  • the representation vector space is a user embedding vector space and the representation vector is a user representation vector.
  • the raw sensor data can be associated with a user.
  • the representation vector space is an activity embedding vector space and the representation vector is an activity representation vector.
  • the raw sensor data can be associated with an activity that a user practices.
  • the representation vector space is a common user and activity representation vector space and the representation vector is a common user and activity representation vector. activity.
  • the raw sensor data can be associated with a user and with an activity that a user practices.
  • the projection step 120 includes the use of a trained bidirectional recurrent neural network (RNN) to generate a representation vector from raw sensor data.
  • RNN bidirectional recurrent neural network
  • the bidirectional recurrent neural network (RNN) without a nonlinear hidden layer is trained.
  • the matrix of the weights of the linear layer can be interpreted as a linear projection which makes it possible to pass from the space of the raw data of sensors to a space of reduced dimension.
  • the bidirectional recurrent neural network, RNN is a bidirectional long-term memory, LSTM, network that uses a triplet loss function.
  • the anchor in the case of the recognition of a user of an article of footwear according to the invention, can be a first vector of raw sensor data associated with a first user of an article of footwear, the positive can be a second vector of raw sensor data associated with the first user of the article of footwear and negative can be a third vector of raw sensor data associated with another user of the article of footwear.
  • the anchor in the case of the recognition of an activity practiced by a user of an article of footwear according to the invention, can be a first vector of raw sensor data associated with a first activity practiced by a user of an article of footwear, the positive can be a second vector of raw sensor data associated with the first activity performed by the user of the article of footwear and the negative can be a third vector of raw sensor data associated with a other activity carried out by the user of the footwear.
  • the method 100 comprises a step 130 of classifying the raw sensor data received from the representation vector and a classifier trained by machine learning to provide a prediction of membership of the segment of the raw sensor data stream to a class of user or a class of activity practiced by the user.
  • the classifier trained by machine learning comprises a random forest classifier or a regression-based classifier (e.g., linear, logistic, etc.).
  • the classifier trained by machine learning is obtained by supervised training on a set of training data collected previously for a plurality of predetermined activities.
  • the training dataset includes raw sensor data.
  • the training data set comprises raw data from sensors which have been acquired during a predetermined time interval, for example less than 1 minute, 30 seconds, 10 seconds or the like.
  • the invention also relates to a kit 300 as illustrated in the .
  • the kit 300 comprises at least one sensor 210, at least one processor 310 and at least one memory 320.
  • the sensor 210 is adapted to be positioned on or in an article of footwear comprising a pair of shoes so as to generate a stream of raw sensor data in response to at least one biomechanical movement of the user during the practice of an activity.
  • the raw sensor data comprising a plurality of data types that are representative of movement of a user's foot.
  • the kit 300 comprises at least four sensors 210, at least two sensors being positioned on or in each of the shoes.
  • Processor 310 is configured to run a process.
  • Memory 320 is configured to store the process executable by processor 310.
  • the kit 300 can further comprise a pair of insoles 200.
  • the pair of soles is configured to be inserted into an article of footwear.
  • the process when run, is configured to: - receive a flow of raw sensor data, - projecting at least one segment of the raw sensor data stream into a representation vector space ("embedding" in English) so as to obtain a representation vector having a predetermined and reduced size compared to the dimension of the raw sensor data received, - classify the raw sensor data received from the representation vector and a classifier trained by machine learning to provide a prediction of membership of the segment of the raw sensor data stream to a user class or a class of activity performed by the user.
  • a representation vector space (“embedding" in English)
  • the processor 310 is arranged at least partially inside the article of footwear.
  • the processor is disposed at least partially inside the insole 200.
  • the article of footwear further comprises at least one wireless connection module 330.
  • the processor 310 is included in a device connected wirelessly with the wireless connection module 330 and chosen from: a smart phone 400 or a computing cloud 500.
  • the invention may be subject to numerous variants and applications other than those described above.
  • the various structural and functional characteristics of each of the implementations described above should not be considered as combined and/or closely and/or inextricably linked to each other, but on the contrary as simple juxtapositions.
  • the structural and/or functional characteristics of the different embodiments described above may be the subject, in whole or in part, of any different juxtaposition or any different combination.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computational Linguistics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Footwear And Its Accessory, Manufacturing Method And Apparatuses (AREA)

Abstract

L'invention concerne le domaine de la pratique d'activités. En particulier, il concerne un procédé et un kit pour la reconnaissance d'un utilisateur d'un article chaussant ou d'une activité pratiquée par un utilisateur d'un article chaussant. L'un des objectifs de cette invention est de faciliter la détection d'un utilisateur d'un article chaussant ou d'une activité pratiquée par un utilisateur d'un article chaussant. Pour cela, les inventeurs proposent d'utiliser des données brutes de capteurs de l'article chaussant que l'on fournit à un classifieur entraîné par apprentissage machine. En effet, les inventeurs ont découvert que l'utilisation de données brutes de capteurs, sans fusion, par un classifieur permet d'obtenir des résultats étonnamment performants dans la reconnaissance d'un sujet ou des différentes activités qu'un sujet pratique. En particulier, l'invention utilise la méthode dite de « plongement » (« embedding ») pour projeter les données brutes dans un espace de représentation de données qui est adapté pour la classification souhaitée.

Description

PROCÉDÉ ET KIT POUR LA RECONNAISSANCE D’UN UTILISATEUR D’UN ARTICLE CHAUSSANT OU D’UNE ACTIVITÉ PRATIQUÉE PAR UN UTILISATEUR D’UN ARTICLE CHAUSSANT
L’invention concerne le domaine de la pratique d’activités. En particulier, il concerne un procédé et un kit pour la reconnaissance d’un sujet ou des différentes activités qu’un sujet pratique.
Un niveau élevé d’une activité est bénéfique au maintien de la santé.
En effet, on sait que l’on peut obtenir les effets bénéfiques d’une activité non seulement par une intensité d’exercice élevée, mais également grâce à un effort modéré, répété et prolongé.
Or, vu l’hétérogénéité des activités que peut pratiquer un utilisateur d’un article chaussant, il semble difficile d’évaluer la durée et l’intensité de toutes les activités qu’un sujet pratique.
Par ailleurs, si plusieurs sujets utilisent l’article chaussant, il semble difficile d’identifier chacun d’entre eux pour leur associer les activités qu’elles pratiquent.
Il existe donc un besoin d’identifier de manière objective les différentes activités qu’un sujet pratique ainsi que les différents sujets qui utilisent un article chaussant.
L’invention vise à résoudre, au moins partiellement, ce besoin.
Ainsi, l’invention vise un procédé de reconnaissance d’un utilisateur d’un article chaussant ou d’une activité pratiquée par un utilisateur d’un article chaussant.
En particulier, l’article chaussant comprend une paire de chaussures et au moins un capteur positionné sur ou dans la paire de chaussures de manière à générer un flux de données brutes de capteurs en réponse à au moins un mouvement biomécanique de l’utilisateur pendant la pratique d’une activité.
En outre, le procédé comprend :
- une étape de réception d’un flux de données brutes de capteurs,
- une étape de projection d’au moins un segment du flux de données brutes de capteurs dans un espace vectoriel de représentation (« embedding » en anglais) de manière à obtenir un vecteur de représentation présentant une taille prédéterminée et réduite par rapport à la dimension des données brutes de capteurs reçues, et
- une étape de classification des données brutes de capteurs reçues à partir du vecteur de représentation et d’un classifieur entrainé par apprentissage machine pour fournir une prédiction d’appartenance du segment du flux de données brutes de capteurs à une classe d’utilisateur ou une classe d’activité pratiquée par l’utilisateur.
Dans un premier mode de réalisation, l’étape de projection comprend l’utilisation d’un réseau neuronal récurrent (RNN) bidirectionnel entrainé pour générer un vecteur de représentation à partir de données brutes de capteurs.
Dans un exemple du premier mode de réalisation, le réseau neuronal récurrent, RNN, bidirectionnel est un réseau de longue mémoire à court terme (LSTM) bidirectionnel qui utilise une fonction de perte de triplet.
Dans un deuxième mode de réalisation, l’espace vectoriel de représentation est un espace vectoriel de représentation d’utilisateurs (« user embedding » en anglais) et le vecteur de représentation est un vecteur de représentation d’utilisateur.
Dans un troisième mode de réalisation, l’espace vectoriel de représentation est un espace vectoriel de représentation d’activités (« activity embedding » en anglais) et le vecteur de représentation est un vecteur de représentation d’activité.
Dans un quatrième mode de réalisation, le classifieur entrainé par apprentissage machine comprend un classifieur à forêt aléatoire ou un classifieur basé sur une régression.
Dans un cinquième mode de réalisation, les données brutes comprennent au moins un type de données choisi parmi : des données de capteur de force, des données de capteur de gyroscope, des données de capteur de gyromètre, des données de capteur d’accéléromètre.
Dans un sixième mode de réalisation, chaque segment du flux de données brutes de capteurs présente une durée temporelle d’au moins 500 ms, de préférence d’une seconde.
Dans un huitième mode de réalisation, l’article chaussant comprend au moins un processeur et le procédé est réalisé par le processeur.
Dans un neuvième mode de réalisation, l’article chaussant comprend au moins un module de connexion sans fil et le procédé est réalisé par un téléphone intelligent ou un nuage informatique connecté sans fil avec le module de connexion sans fil.
L’invention vise aussi un kit qui comprend :
- au moins un capteur qui est adapté pour être positionné sur ou dans un article chaussant comprenant une paire de chaussures de manière à générer un flux de données brutes de capteurs en réponse à au moins un mouvement biomécanique de l’utilisateur pendant la pratique d’une activité, les données brutes de capteurs comprenant une pluralité de types de données qui sont représentatives d’un mouvement d’un pied de l’utilisateur,
- au moins un processeur configuré pour exécuter un processus, et
- au moins une mémoire configurée pour stocker le processus exécutable par le processeur, le processus, lorsqu’il est exécuté, étant configuré pour :
- recevoir un flux de données brutes de capteurs,
- projeter au moins un segment du flux de données brutes de capteurs dans un espace vectoriel de représentation (« embedding » en anglais) de manière à obtenir un vecteur de représentation présentant une taille prédéterminée et réduite par rapport à la dimension des données brutes de capteurs reçues,
- classifier les données brutes de capteurs reçues à partir du vecteur de représentation et d’un classifieur entrainé par apprentissage machine pour fournir une prédiction d’appartenance du segment du flux de données brutes de capteurs à une classe d’utilisateur ou une classe d’activité pratiquée par l’utilisateur.
Dans un premier mode de réalisation, le processeur est disposé au moins partiellement à l’intérieur de l’article chaussant.
Dans un deuxième mode de réalisation, l’article chaussant comprend en outre au moins un module de connexion sans fil,
et dans lequel le processeur est compris dans un dispositif connecté sans fil avec le module de connexion sans fil et choisi parmi : un téléphone intelligent ou un nuage informatique.
D’autres caractéristiques et avantages de l’invention seront mieux compris à la lecture de la description qui va suivre et en référence aux dessins annexés, donnés à titre illustratif et nullement limitatif.
La représente un procédé de reconnaissance d’un sujet ou des différentes activités qu’un sujet pratique, selon l’invention.
La représente un exemple de mise en œuvre du procédé de la .
La représente un kit selon l’invention.
Les figures ne respectent pas nécessairement les échelles, notamment en épaisseur, et ce à des fins d’illustration.
L’un des objectifs de cette invention est de faciliter la détection d’un utilisateur d’un article chaussant ou d’une activité pratiquée par un utilisateur d’un article chaussant.
Par « article chaussant », il faut comprendre au sens de l’invention une paire, par exemple, de chaussures, chaque chaussure étant destinée à un pied de l’utilisateur.
Pour cela, les inventeurs proposent d’utiliser des données brutes de capteurs de l’article chaussant que l’on fournit à un classifieur entrainé par apprentissage machine.
En effet, les inventeurs ont découvert que l’utilisation de données brutes de capteurs, sans fusion, par un classifieur permet d’obtenir des résultats étonnamment performants dans la reconnaissance d’un sujet ou des différentes activités qu’un sujet pratique.
En particulier, l’invention utilise la méthode dite de « plongement » (« embedding », en anglais) pour projeter les données brutes dans un espace de représentation de données qui est adapté pour la classification souhaitée.
Ainsi, comme illustré dans la , l’invention se rapporte à un procédé 100 de reconnaissance d’un sujet ou des différentes activités qu’un sujet pratique.
Dans un exemple, on choisit l’activité parmi : le football, le basketball, le ping-pong, le badminton, la marche, la course.
Toutefois, l’activité peut concerner d’autres disciplines qui nécessitent l’utilisation d’un article chaussant, et ce, sans nécessiter de modifications substantielles de l’invention.
Dans l’invention, l’article chaussant comprend une paire de chaussures.
Dans une mise en œuvre particulière, l’article chaussant peut comprendre une paire de semelles intérieures.
La illustre un article chaussant qui comprend une semelle intérieure 200.
Dans les exemples qui suivent, lorsque les différents composants matériels sont décrits en lien avec la semelle intérieure de l’article chaussant, il s’agit de modes de réalisations non limitatifs et il est prévu que les différents composants matériels puissent être disposés dans d’autres parties de l’article chaussant.
Avantageusement, le procédé 100 est mis en œuvre à partir d’un flux de données brutes d’un ou de plusieurs capteurs positionnés sur ou dans une paire de chaussures, par exemple au moins en partie dans une semelle. Toutefois, la présente invention dans ces différents modes de réalisation, préférés ou non, pourrait être appliquée dans le cas où les capteurs ne sont pas intégrés à une semelle. Elle pourrait en particulier être appliquée lorsque le ou les capteurs sont positionnés sur une chaussure, par exemple au niveau de la languette, de la tige ou du contrefort d’une chaussure.
Dans une première façon particulière de réaliser l’invention, la semelle intérieure 200 comprend au moins un processeur 310.
Ainsi, dans cette première façon particulière de réaliser l’invention, le processeur 310 réalise le procédé 100.
Dans une deuxième façon de réaliser l’invention, la semelle intérieure 200 comprend au moins un module de connexion sans fil 330.
Ainsi, dans cette deuxième façon particulière de réaliser l’invention, le procédé 100 est mis en œuvre par un dispositif déporté.
Dans un premier exemple, un téléphone intelligent 400 connecté sans fil avec le module de connexion sans fil 330 réalise le procédé 100.
Dans un deuxième exemple, un nuage informatique 500 connecté sans fil avec le module de connexion sans fil 330 réalise le procédé 100.
Par ailleurs, dans l’invention, chaque semelle intérieure 200 comprend au moins un capteur 210. De préférence, chaque semelle intérieure 200 comprend au moins deux capteurs 210. En effet, l’utilisation de plusieurs capteurs sur ou dans chacune des chaussures couplée à l’utilisation d’un vecteur de représentation présentant une taille prédéterminée permet d’améliorer la reconnaissance.
Dans un premier exemple, le capteur 210 est un capteur de force.
Dans un deuxième exemple, le capteur 210 est un capteur de gyroscope mono ou à axes multiples de mouvement.
Dans un troisième exemple, le capteur 210 est un capteur de gyromètre mono ou à axes multiples de mouvement.
Dans un quatrième exemple, le capteur 210 est un capteur d’accéléromètre mono ou à axes multiples.
En pratique, le capteur 210 est disposé au moins partiellement à l’intérieur de la semelle intérieure 200. La semelle intérieure 200 peut correspondre à une semelle amovible ou à une semelle intermédiaire.
De cette manière, le capteur 210 est configuré pour générer un flux de données brutes de capteurs en réponse à au moins un mouvement biomécanique de l’utilisateur pendant la pratique d’une activité.
Par « mouvement biomécanique », on entend au sens de l’invention une caractéristique de la posture ou de la mobilité de l’utilisateur, pouvant notamment être déterminée à un moment clé d’un cycle et donc plus complexe à déterminer. Un cycle pouvant par exemple être un cycle de marche. Il existe différents types d’activités telles que le pas, la montée d’une marche, la descente d’une marche, une foulée, un saut, un plat, un statisme, un piétinement, un agenouillement… De ce fait, un cycle peut également correspondre à une pluralité d’activités de types différents en fonction de la complexité du mouvement réalisé par l’utilisateur.
En particulier, le flux de données brutes de capteurs comprend une pluralité de types de données qui sont représentatives d’un mouvement d’un pied de l’utilisateur.
Dans un exemple, les données brutes de capteurs comprennent au moins un type de données choisi parmi : des données de capteur de force, des données de capteur de gyroscope, des données de capteur de gyromètre, des données de capteur d’accéléromètre.
Dans un autre exemple, on échantillonne les données brutes de capteurs à une fréquence prédéterminée supérieure à 50 Hz, de préférence supérieure ou égale à 100 Hz.
Dans l’invention, le procédé 100 comprend tout d’abord une étape de réception 110 d’un flux de données brutes de capteurs.
En pratique, on reçoit le flux de données brutes de capteurs en fonction du temps au cours de la pratique d’une activité par un utilisateur de l’article chaussant.
En particulier, le flux de données brutes de capteurs comprend une pluralité de segments.
Dans un exemple, chaque segment du flux de données brutes de capteurs présente une durée temporelle d’au moins 100 ms, d’au moins 500 ms, de préférence d’une seconde. De façon préférée, chaque segment du flux de données brutes de capteurs présente une durée temporelle d’au plus dix secondes, de façon préférée d’au plus 5 secondes.
Ensuite, le procédé 100 comprend une étape de projection 120 d’au moins un segment du flux de données brutes de capteurs dans un espace vectoriel de représentation (aussi connu sous le nom de méthode du « plongement » ; « embedding » en anglais) de manière à obtenir un vecteur de représentation qui présente une taille prédéterminée et réduite par rapport à la dimension des données brutes de capteurs reçues.
Par espace vectoriel de représentation, on entend la projection d’un vecteur (souvent large) qui représente une variable catégorique (p. ex. un utilisateur ou une activité pratiquée par un utilisateur) dans un nouvel espace de taille contrôlée qui modélise les relations entre les différentes catégories.
Dans un premier exemple, l’espace vectoriel de représentation est un espace vectoriel de représentation d’utilisateurs (« user embedding » en anglais) et le vecteur de représentation est un vecteur de représentation d’utilisateur.
Ainsi, dans le premier exemple, on considère que les données brutes de capteurs peuvent être associées à un utilisateur.
Dans un deuxième exemple, l’espace vectoriel de représentation est un espace vectoriel de représentation d’activités (« activity embedding » en anglais) et le vecteur de représentation est un vecteur de représentation d’activité.
Ainsi, dans le deuxième exemple, on considère que les données brutes de capteurs peuvent être associées à une activité que pratique un utilisateur.
Dans un troisième exemple, l’espace vectoriel de représentation est un espace vectoriel de représentation commun d’utilisateur et d’activités (« common embedding » en anglais) et le vecteur de représentation est un vecteur de représentation commun d’utilisateur et d’activité.
Ainsi, dans le troisième exemple, on considère que les données brutes de capteurs peuvent être associées à un utilisateur et à une activité que pratique un utilisateur.
En pratique, l’étape de projection 120 comprend l’utilisation d’un réseau neuronal récurrent (RNN) bidirectionnel entrainé pour générer un vecteur de représentation à partir de données brutes de capteurs.
Dans un exemple, on entraine le réseau neuronal récurrent (RNN) bidirectionnel sans couche cachée non linéaire. Ainsi, la matrice des poids de la couche linéaire peut être interprétée comme une projection linéaire qui permet de passer de l’espace des données brutes de capteurs à un espace de dimension réduite.
Dans une mise en œuvre particulière, le réseau neuronal récurrent, RNN, bidirectionnel est un réseau de longue mémoire à court terme, LSTM, bidirectionnel qui utilise une fonction de perte de triplet.
Pour rappel, on utilise une fonction de perte de triplet pendant l’entrainement du modèle d’apprentissage. Dans ce cas, au lieu de prendre deux entrées, comme c’est communément le cas, on pendra trois entrées que l’on nomme l’ancre, le positif et le négatif. L’ancre sera l’entrée de référence, le positif sera une entrée qui a la même classe que l’ancre, tandis que le négatif doit être entré avec une classe différente de l’ancre.
Dans un premier exemple, dans le cas de la reconnaissance d’un utilisateur d’un article chaussant selon l’invention, l’ancre peut être un premier vecteur de données brutes de capteurs associé à un premier utilisateur d’un article chaussant, le positif peut être un deuxième vecteur de données brutes de capteurs associé au premier utilisateur de l’article chaussant et le négatif peut être un troisième vecteur de données brutes de capteurs associé à un autre utilisateur de l’article chaussant.
Dans un deuxième exemple, dans le cas de la reconnaissance d’une activité pratiquée par un utilisateur d’un article chaussant selon l’invention, l’ancre peut être un premier vecteur de données brutes de capteurs associé à une première activité pratiquée par un utilisateur d’un article chaussant, le positif peut être un deuxième vecteur de données brutes de capteurs associé à la première activité pratiquée par l’utilisateur de l’article chaussant et le négatif peut être un troisième vecteur de données brutes de capteurs associé à une autre activité pratiquée par l’utilisateur de l’article chaussant.
Enfin, le procédé 100 comprend une étape de classification 130 des données brutes de capteurs reçues à partir du vecteur de représentation et d’un classifieur entrainé par apprentissage machine pour fournir une prédiction d’appartenance du segment du flux de données brutes de capteurs à une classe d’utilisateur ou une classe d’activité pratiquée par l’utilisateur.
Dans une première façon particulière de réaliser l’invention, le classifieur entrainé par apprentissage machine comprend un classifieur à forêt aléatoire ou un classifieur basé sur une régression (par exemple, linéaire, logistique, etc.).
Dans une deuxième façon particulière de réaliser l’invention, on obtient le classifieur entrainé par apprentissage machine par un entrainement supervisé sur un jeu de données d’entrainement collectées antérieurement pour une pluralité d’activités prédéterminées. En particulier, le jeu de données d’entrainement comprend des données brutes de capteurs.
Dans un premier exemple, on utilise 70 % du jeu de données d’entrainement pour entrainer le classifieur et on utilise 30 % du jeu de données d’entrainement pour tester le classifieur ainsi entrainé.
Toutefois, on pourra utiliser une autre répartition du jeu de données d’entrainement, et ce, sans nécessiter de modifications substantielles de l’invention.
Dans un deuxième exemple, le jeu de données d’entrainement comprend des données brutes de capteurs qui l’on a acquises pendant un intervalle de temps prédéterminé, par exemple inférieur à 1 minute, 30 secondes, 10 secondes ou similaire.
L’invention concerne également un kit 300 tel qu’illustré dans la .
Dans l’invention, le kit 300 comprend au moins un capteur 210, au moins un processeur 310 et au moins une mémoire 320.
Le un capteur 210 est adapté pour être positionné sur ou dans un article chaussant comprenant une paire de chaussures de manière à générer un flux de données brutes de capteurs en réponse à au moins un mouvement biomécanique de l’utilisateur pendant la pratique d’une activité, les données brutes de capteurs comprenant une pluralité de types de données qui sont représentatives d’un mouvement d’un pied de l’utilisateur.
De façon préférée, le kit 300 comprend au moins quatre capteurs 210, au moins deux capteurs étant positionné sur ou dans chacune des chaussures.
Le processeur 310 est configuré pour exécuter un processus.
La mémoire 320 est configurée pour stocker le processus exécutable par le processeur 310.
Dans une mise en œuvre particulière, le kit 300 peut comprendre, en outre, une paire de semelles intérieures 200.
Dans cette mise en œuvre particulière, la paire de semelles est configurée pour être insérée dans un article chaussant.
Par ailleurs, le processus, lorsqu’il est exécuté, est configuré pour :
- recevoir un flux de données brutes de capteurs,
- projeter au moins un segment du flux de données brutes de capteurs dans un espace vectoriel de représentation (« embedding » en anglais) de manière à obtenir un vecteur de représentation présentant une taille prédéterminée et réduite par rapport à la dimension des données brutes de capteurs reçues,
- classifier les données brutes de capteurs reçues à partir du vecteur de représentation et d’un classifieur entrainé par apprentissage machine pour fournir une prédiction d’appartenance du segment du flux de données brutes de capteurs à une classe d’utilisateur ou une classe d’activité pratiquée par l’utilisateur.
Dans une première façon particulière de réaliser l’invention, le processeur 310 est disposé au moins partiellement à l’intérieur de l’article chaussant.
Dans un exemple, le processeur est disposé au moins partiellement à l’intérieur de la semelle intérieure 200.
Dans une deuxième façon particulière de réaliser l’invention, l’article chaussant comprend en outre au moins un module de connexion sans fil 330.
Ainsi, dans cette deuxième façon particulière de réaliser l’invention, le processeur 310 est compris dans un dispositif connecté sans fil avec le module de connexion sans fil 330 et choisi parmi : un téléphone intelligent 400 ou un nuage informatique 500.
Nous avons décrit et illustré l’invention. Toutefois, l’invention ne se limite pas aux formes de réalisations que nous avons présentées. Ainsi, un expert du domaine peut déduire d’autres variantes et modes de réalisation, à la lecture de la description et des figures annexées.
L’invention peut faire l’objet de nombreuses variantes et applications autres que celles décrites ci-dessus. En particulier, sauf indication contraire, les différentes caractéristiques structurelles et fonctionnelles de chacune des mises en œuvre décrite ci-dessus ne doivent pas être considérées comme combinées et/ou étroitement et/ou inextricablement liées les unes aux autres, mais au contraire comme de simples juxtapositions. En outre, les caractéristiques structurelles et/ou fonctionnelles des différents modes de réalisation décrits ci-dessus peuvent faire l’objet en tout ou partie de toute juxtaposition différente ou de toute combinaison différente.

Claims (13)

  1. Procédé (100) implémenté par ordinateur pour la reconnaissance d’un utilisateur d’un article chaussant ou d’une activité pratiquée par un utilisateur d’un article chaussant, l’article chaussant comportant une paire de chaussures et au moins deux capteurs (210) positionnés sur ou dans la paire de chaussures de manière à générer un flux de données brutes de capteurs en réponse à au moins un mouvement biomécanique de l’utilisateur pendant la pratique d’une activité, le procédé (100) comprenant :
    - une étape de réception (110) d’un flux de données brutes de capteurs, le flux de données brutes de capteurs comprenant une pluralité de types de données qui sont représentatives d’un mouvement d’un pied de l’utilisateur,
    - une étape de projection (120) d’au moins un segment du flux de données brutes de capteurs dans un espace vectoriel de représentation, « embedding » en anglais, de manière à obtenir, un vecteur de représentation présentant une taille prédéterminée et réduite par rapport à la dimension des données brutes de capteurs reçues, et
    - une étape de classification (130) des données brutes de capteurs reçues à partir du vecteur de représentation et d’un classifieur entrainé par apprentissage machine pour fournir une prédiction d’appartenance du segment du flux de données brutes de capteurs à une classe d’utilisateur ou une classe d’activité pratiquée par l’utilisateur.
  2. Procédé implémenté par ordinateur selon la revendication 1, dans lequel l’étape de projection (120) comprend l’utilisation d’un réseau neuronal récurrent, RNN, bidirectionnel entrainé pour générer un vecteur de représentation à partir de données brutes de capteurs.
  3. Procédé implémenté par ordinateur selon la revendication 2, dans lequel le réseau neuronal récurrent, RNN, bidirectionnel est un réseau de longue mémoire à court terme, LSTM, bidirectionnel qui utilise une fonction de perte de triplet.
  4. Procédé (100) implémenté par ordinateur selon l’une quelconque des revendications 1 à 3, dans lequel, l’espace vectoriel de représentation est un espace vectoriel de représentation d’utilisateurs « user embedding » en anglais, et le vecteur de représentation est un vecteur de représentation d’utilisateur.
  5. Procédé (100) implémenté par ordinateur selon l’une quelconque des revendications 1 à 3, dans lequel, l’espace vectoriel de représentation est un espace vectoriel de représentation d’activités, « activity embedding » en anglais, et le vecteur de représentation est un vecteur de représentation d’activité.
  6. Procédé (100) implémenté par ordinateur selon l’une quelconque des revendications 1 à 5, dans lequel, le classifieur entrainé par apprentissage machine comprend un classifieur à forêt aléatoire ou un classifieur basé sur une régression.
  7. Procédé (100) implémenté par ordinateur selon l’une quelconque des revendications 1 à 6, dans lequel, les données brutes comprennent au moins un type de données choisi parmi : des données de capteur de force, des données de capteur de gyroscope, des données de capteur de gyromètre, des données de capteur d’accéléromètre.
  8. Procédé (100) implémenté par ordinateur selon l’une quelconque des revendications 1 à 7, dans lequel chaque segment du flux de données brutes de capteurs présente une durée temporelle d’au moins 500 ms, de préférence 1 seconde.
  9. Procédé (100) implémenté par ordinateur selon l’une quelconque des revendications 1 à 8, dans lequel, l’article chaussant comprend au moins un processeur (310), le procédé (100) étant réalisé par le processeur (310).
  10. Procédé (100) implémenté par ordinateur selon l’une quelconque des revendications 1 à 9, dans lequel, l’article chaussant comprend au moins un module de connexion sans fil (330), le procédé (100) étant réalisé par un téléphone intelligent (400) ou un nuage informatique (500) connecté sans fil avec le module de connexion sans fil (330).
  11. Kit (300) comprenant :
    - au moins deux capteurs (210) adaptés pour être positionnés sur ou dans un article chaussant comprenant une paire de chaussures de manière à générer un flux de données brutes de capteurs en réponse à au moins un mouvement biomécanique de l’utilisateur pendant la pratique d’une activité, ,
    - au moins un processeur (310) configuré pour exécuter un processus, et
    - au moins une mémoire (320) configurée pour stocker le processus exécutable par le processeur (310), le processus, lorsqu’il est exécuté, étant configuré pour :
    - recevoir un flux de données brutes de capteurs, le flux de données brutes de capteurs comprenant une pluralité de types de données qui sont représentatives d’un mouvement d’un pied de l’utilisateur,
    - projeter au moins un segment du flux de données brutes de capteurs dans un espace vectoriel de représentation, « embedding » en anglais, de manière à obtenir, un vecteur de représentation présentant une taille prédéterminée et réduite par rapport à la dimension des données brutes de capteurs reçues, et
    - classifier les données brutes de capteurs reçues à partir du vecteur de représentation et d’un classifieur entrainé par apprentissage machine pour fournir une prédiction d’appartenance du segment du flux de données brutes de capteurs à une classe d’utilisateur ou une classe d’activité pratiquée par l’utilisateur.
  12. Kit (300) selon la revendication 11, dans lequel le processeur (310) est disposé au moins partiellement à l’intérieur de l’article chaussant.
  13. Kit (300) selon la revendication 11, dans lequel l’article chaussant comprend en outre au moins un module de connexion sans fil (330),
    et dans lequel le processeur (310) est compris dans un dispositif connecté sans fil avec le module de connexion sans fil (330) et choisi parmi : un téléphone intelligent (400) ou un nuage informatique (500).
PCT/EP2022/059073 2021-04-06 2022-04-06 Procédé et kit pour la reconnaissance d'un utilisateur d'un article chaussant ou d'une activité pratiquée par un utilisateur d'un article chaussant WO2022214523A1 (fr)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP22716433.2A EP4305546A1 (fr) 2021-04-06 2022-04-06 Procédé et kit pour la reconnaissance d'un utilisateur d'un article chaussant ou d'une activité pratiquée par un utilisateur d'un article chaussant
US18/285,843 US20240184856A1 (en) 2021-04-06 2022-04-06 Method and kit for recognising a user of a footwear article or an activity performed by a user of a footwear article

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FRFR2103524 2021-04-06
FR2103524A FR3121330A1 (fr) 2021-04-06 2021-04-06 Procédé et kit pour la reconnaissance d’un utilisateur d’un article chaussant ou d’une activité pratiquée par un utilisateur d’un article chaussant

Publications (2)

Publication Number Publication Date
WO2022214523A1 true WO2022214523A1 (fr) 2022-10-13
WO2022214523A9 WO2022214523A9 (fr) 2022-12-22

Family

ID=77317053

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2022/059073 WO2022214523A1 (fr) 2021-04-06 2022-04-06 Procédé et kit pour la reconnaissance d'un utilisateur d'un article chaussant ou d'une activité pratiquée par un utilisateur d'un article chaussant

Country Status (4)

Country Link
US (1) US20240184856A1 (fr)
EP (1) EP4305546A1 (fr)
FR (1) FR3121330A1 (fr)
WO (1) WO2022214523A1 (fr)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190365287A1 (en) * 2018-05-30 2019-12-05 Industry-Academic Cooperation Foundation, Dankook University Apparatus and method for gait type classification using pressure sensor of smart insole

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190365287A1 (en) * 2018-05-30 2019-12-05 Industry-Academic Cooperation Foundation, Dankook University Apparatus and method for gait type classification using pressure sensor of smart insole

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
QIN ZOU ET AL: "Deep Learning Based Gait Recognition Using Smartphones in the Wild", ARXIV.ORG, CORNELL UNIVERSITY LIBRARY, 201 OLIN LIBRARY CORNELL UNIVERSITY ITHACA, NY 14853, 1 November 2018 (2018-11-01), XP081454777 *

Also Published As

Publication number Publication date
EP4305546A1 (fr) 2024-01-17
US20240184856A1 (en) 2024-06-06
FR3121330A1 (fr) 2022-10-07
WO2022214523A9 (fr) 2022-12-22

Similar Documents

Publication Publication Date Title
Alharthi et al. Deep learning for monitoring of human gait: A review
CN106066990A (zh) 用于将人的活动视频中的帧与事件相关联的方法和装置
US9687179B2 (en) System and method to recognize activities performed by an individual
WO2019077266A1 (fr) Boitier electronique miniaturise integrable dans n'importe quelle semelle
EP3958738B1 (fr) Procede et systeme de determination d'une valeur de parametre biomecanique avance de demarche
EP0693206A1 (fr) Dispositif d'acquisition en temps reel de donnees relatives a des personnes en mouvement
EP2987452A1 (fr) Procédé et système de sélection automatique d'exercices physiques
WO2014056827A1 (fr) Vetement integrant un systeme de collecte de donnees physiologiques
WO2011006989A1 (fr) Dispositif et procédé de détection et de commentaire d'un événement de jeu aux abords d'une cage de but
WO2022214523A1 (fr) Procédé et kit pour la reconnaissance d'un utilisateur d'un article chaussant ou d'une activité pratiquée par un utilisateur d'un article chaussant
FR3060147A1 (fr) Procede de caracterisation d'un cycle de marche d'un sujet au moyen d'un modele de markov cache
EP1586353A1 (fr) Procédé et dispositif de mesure de l'efficacité d'un geste sportif
CA2592994A1 (fr) Procede de recherche d'informations dans une base de donnees
WO2019186050A1 (fr) Dispositif informatique de detection de troubles du rythme cardiaque
Harasimowicz et al. Accelerometer-based human activity recognition and the impact of the sample size
US20170076618A1 (en) Physical Object Training Feedback Based On Object-Collected Usage Data
CA2986178A1 (fr) Dispositif instrumente d'evaluation et de quantification de parametres physiologiques des membres superieurs d'un sportif et procede associe
FR3082722A1 (fr) Procede d'analyse de foulee d'un pieton en marche
Davies et al. Unobtrusive bioanalytics for impact–related sport activities
FR3059221A1 (fr) Dispositif apte a identifier un etat emotionnel, bracelet integrant un tel dispositif et procede associe d'identification et de reaction a un etat emotionnel
WO2020201158A1 (fr) Procede de génération d'un element multimedia au cours de la lecture d'un media, terminal, systeme
Sangisetti et al. Review on personal activity analysis using machine learning algorithms
FR3072579A1 (fr) Procede de quantification d'une activite sportive
EP4304474A1 (fr) Procede et dispositif d'inference d'une ligne de pression plantaire
Trost et al. Raw tri-axial acceleration data improves the recognition of physical activity type in children and adolescents

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22716433

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2022716433

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2022716433

Country of ref document: EP

Effective date: 20231011

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 18285843

Country of ref document: US