WO2021084165A1

WO2021084165A1 - Procede et systeme de caracterisation d'un mouvement d'une entite en mouvement

Info

Publication number: WO2021084165A1
Application number: PCT/FR2019/052591
Authority: WO
Inventors: Carlos Javier PINEDA CORDERO
Original assignee: St37 Sport Et Technologie
Priority date: 2019-11-03
Filing date: 2019-11-03
Publication date: 2021-05-06
Also published as: EP4066087A1

Abstract

L'invention porte sur un procédé (1) de caractérisation d'un mouvement d'une entité en mouvement, mis en œuvre par un système (2) comportant un dispositif informatique (10) incluant un processeur (11) et une mémoire (12) de données configurée pour stocker un référentiel (12a) d'actions de référence et de mouvements (12b) de référence, ledit procédé comportant les étapes suivantes : - Réception (300) d'une vidéo; - Pré-sélection (400) d'une ou de plusieurs images (431); - Génération (500) d'une pluralité de points caractéristiques (501) de l'entité en mouvement (9); - Calcul (600) d'une pluralité de descripteurs des points caractéristiques (501); - Comparaison (700) de la pluralité de descripteurs de points caractéristiques à des descripteurs de points caractéristiques de référence; et - Génération (800) à partir de la comparaison (700) de la pluralité de descripteurs de points caractéristiques, d'une valeur d'indice de caractérisation d'un mouvement de l'entité en mouvement.

Description

PROCEDE ET SYSTEME DE CARACTERISATION D’UN MOUVEMENT D’UNE ENTITE EN

MOUVEMENT

L’invention s’intéresse au domaine de l’analyse en temps réel d’images, et plus particulièrement à l’analyse d’images pour la caractérisation de mouvements ou d’actions, pouvant être utilisée notamment dans l’aide à l’arbitrage ou l’entrainement sportif. L’invention concerne un procédé de caractérisation d’un mouvement d’une entité en mouvement et un système de caractérisation d’un mouvement d’une entité en mouvement. rArt antérieur!

Le sport, dont l’on retrouve les racines à toute époque depuis l’Egypte antique et la Grèce jusqu’à nos jours en passant par l’époque médiévale est lui aussi impacté par les efforts de digitalisation de la société.

Ainsi, le monde du sport est en évolution depuis de nombreuses années maintenant avec l’introduction de technologies de plus en plus sophistiquées pour aider l’arbitre ou mesurer les performances sportives. Par exemple, dans le domaine du football, a été introduit en 2014, pour la première fois en compétition mondiale, la technologie sur la ligne de but permettant de confirmer ou non le franchissement d’une ligne de but à partir d’analyse de données vidéo. En 2018, c’est au tour de l’assistance vidéo à l'arbitrage d’être intégrée en Coupe du monde. En escrime, une telle technologie a été introduite depuis bien des années avec une introduction progressive dans les compétitions depuis 2005.

Ces technologies sont très utiles car elles peuvent palier aux capacités de l’œil et du cerveau d’un humain qui, dans certains cas et malgré la pratique, sont susceptibles d’être dépassées par la rapidité d’exécution de certains enchaînements.

Néanmoins, de telles technologies nécessitent des visionnages longs et répétitifs qui peuvent casser le rythme d’un affrontement ou d’une performance et réduire l’intensité du spectacle offert. Ainsi, il existe un besoin pour des technologies capables de venir en assistance à un arbitre ou à un sportif de façon à déterminer l’occurrence de mouvements spécifiques. L'estimation de la pose ou la capture d’un mouvement est un problème complexe en vision par ordinateur pour lequel il n’existe toujours pas de solution universelle satisfaisante. De plus, au-delà de l’estimation de la pose, dans ce contexte il est nécessaire de déterminer une action, c’est-à-dire un mouvement et non une « pose ». Il existe des analyses de posture mais les analyses de mouvement sont plus rares. Or, c’est le mouvement qui sera le plus critique dans la pratique sportive. A cause de cela, de nombreux systèmes de capture de mouvement actuellement disponibles dans le commerce utilisent généralement des marqueurs optiques placés sur tout le corps pour suivre le mouvement dans le temps. Ces systèmes sont très précis et peuvent capturer toutes sortes de postures corporelles ainsi que des expressions faciales. Cependant, ils sont invasifs et travaillent dans un environnement contrôlé. Par conséquent, ils ne conviennent pas à toutes les applications notamment à une application sportive généraliste.

Les méthodes de capture de mouvement sans marqueur ont beaucoup retenu l'attention au cours de la dernière décennie. Néanmoins, ces méthodes, souvent basées sur une caméra, font face à des problèmes de reconstruction de pose (ou capture de mouvement) dus à l’utilisation de scènes haute résolution contenant beaucoup de détails et dont le traitement informatique est ralenti. Par exemple, la demande de brevet EP3528207 présente une méthode d’analyse d’un mouvement d’un gymnaste sur un saut de cheval basé sur l’identification d’une pluralité de nœud de jointure dans une série d’images puis sur la comparaison de la position de ces nœuds de jointure au fil des images. Une telle méthode peut être utile dans le cas où la prise de vue de la caméra reste immobile. Néanmoins, dès que la position de prise de vue de la caméra est modifiée, une telle méthode s’avère inutilisable. En outre, en l’absence de sélection préalable des images, le temps de traitement peut s’avérer significativement allongé.

Il existe aussi des moyens d’acquisition vidéo en 3D mais ces derniers sont très coûteux et nécessitent du personnel hautement qualifié pour utiliser ces systèmes. Il existe aussi des capteurs placés sur le corps de sportif mais ceux-ci ne peuvent pas être utilisés en compétition et ils peuvent gêner le mouvement des sportifs lors des entraînements.

La pratique courante des sportifs tend à une quantification de plus en plus extensive de la pratique et des performances du sportif. Ainsi, il existe un besoin pour un système permettant de caractériser en temps réel un mouvement et en particulier la performance d’un sportif. rProblème technique!

L’invention a donc pour but de remédier aux inconvénients de l’art antérieur. En particulier, l’invention a pour but de proposer un procédé de caractérisation d’un mouvement d’une entité en mouvement, ledit procédé étant rapide à mettre en oeuvre de façon à pouvoir être utilisé en temps réel, sur des prises de vue provenant de caméra mobile ou fixe, et permettant d’identifier un mouvement avec une sensibilité et une spécificité élevée en un temps réduit. En outre, un procédé conforme à l’invention permet de se passer de marqueurs portés par les entités en mouvement étudiées. L’invention a en outre pour but de proposer un système de caractérisation d’un mouvement d’une entité en mouvement, ledit système pouvant se baser sur une ou plusieurs caméras et ne nécessitant pas le recours à des capteurs portés par les entités en mouvement étudiées.

G B rêve description de l’inventionl

A cet effet, l’invention porte sur un procédé de caractérisation d’un mouvement d’une entité en mouvement, par exemple pour de l’aide à l’arbitrage ou l’entrainement sportif, ledit procédé étant mis en oeuvre par un système comportant un dispositif informatique incluant un processeur et une mémoire de données, ladite mémoire de donnée étant configurée pour stocker un référentiel d’actions de référence et un référentiel de mouvements de référence, ledit procédé comportant les étapes suivantes :

- Réception, par le dispositif informatique, d’une vidéo, de préférence en flux continu ;

- Pré-sélection, par le processeur, d’une ou de plusieurs images au sein d’une pluralité d’images de la vidéo ;

- Génération, par le processeur, d’une pluralité de points caractéristiques de l’entité en mouvement sur la ou les images présélectionnées, lesdits points caractéristiques étant caractérisés par des valeurs de position ;

- Calcul, par le processeur et à partir des valeurs de position des points caractéristiques, d’une pluralité de descripteurs des points caractéristiques pour plusieurs des images présélectionnées ;

- Comparaison, par le processeur, de la pluralité de descripteurs de points caractéristiques calculés à des descripteurs de points caractéristiques de référence mémorisés sur le référentiel de mouvements de référence, ladite comparaison pouvant être réalisée par l’intermédiaire d’un modèle issu d’un apprentissage ; et

- Génération, par le processeur et à partir de la comparaison de la pluralité de descripteurs de points caractéristiques, d’une valeur d’indice de caractérisation d’un mouvement de l’entité en mouvement.

Un tel procédé permet de part cette succession d’étapes de caractériser le mouvement d’une entité en mouvement et de lui attribuer une valeur. Ainsi, un utilisateur sera par exemple en mesure de déterminer si un mouvement a été bien exécuté ou s’il doit conduire à une faute.

En particulier, l’analyse du flux vidéo selon l’invention permet de générer des valeurs de position de points caractéristiques, puis des descripteurs de points caractéristiques et d’évolution de ces descripteurs de points caractéristiques et la comparaison de ces descripteurs par rapport à des données de référence sera rapide et fiable par rapport aux méthodes utilisées actuellement. Contrairement aux méthodes de l’art antérieur qui peuvent se baser sur une évolution des positions des points caractéristiques, une telle méthode permet de caractériser le mouvement plus rapidement et plus précisément même lorsque la prise de vue est mobile.

Par exemple, ces valeurs pourront être comparées à des valeurs de référence de façon à générer une valeur d’indice d’arbitrage. La valeur d’indice d’arbitrage pouvant correspondre à une indication de respect d’une règle d’arbitrale.

Dans une utilisation particulière, la présente invention peut être donc considérée par certains aspects comme un outil d’aide à la décision permettant à un arbitre de prendre les meilleures décisions arbitrales ou à un sportif d’améliorer constamment sa pratique en comparaison d’un standard.

En outre, un tel procédé peut être utilisé pour améliorer la performance sportive d’un pratiquant. Ainsi, il peut aussi prendre le rôle d’un entraîneur sportif virtuel permettant au pratiquant de faire évoluer sa pratique jusqu’à un niveau de maîtrise extrême. Ainsi, l’invention est également par certains aspects un outil d’amélioration sportive.

Selon d’autres caractéristiques optionnelles du procédé :

- l’étape de calcul d’une pluralité de descripteurs des points caractéristiques comporte un calcul d’une valeur de relation géométrique entre des points caractéristiques et une partie au moins desdits descripteurs des points caractéristiques correspond à ladite valeur de relation géométrique calculée entre des points caractéristiques. Cela permet une caractérisation améliorée du mouvement.

- l’étape de calcul comporte un calcul de valeurs de relation géométrique entre des points caractéristiques et un calcul d’une valeur d’évolution des valeurs de relation géométrique des points caractéristiques entre deux images présélectionnées et en ce qu’une partie au moins desdits descripteurs des points caractéristiques correspond à ladite valeur d’évolution des valeurs de relation géométrique des points caractéristiques entre deux images présélectionnées. Ainsi, la caractérisation du mouvement peut prendre en compte plus directement le comportement sur plusieurs images de l’entité en mouvement. La caractérisation du mouvement en est améliorée.

- la présélection comporte les sous-étapes suivantes : o Génération d’au moins une forme englobante sur une pluralité d’images, chacune des formes englobantes correspondant à une même entité en mouvement et étant caractérisée par des valeurs de dimensions ; o Comparaison des valeurs de dimensions de formes englobantes générées pour deux images différentes de façon à identifier des marqueurs d’action entre formes englobantes, lesdits marqueurs d’action correspondant à des modifications des valeurs de dimensions des formes englobantes entre images ; o Comparaison des marqueurs d’action identifiés à des marqueurs d’action de référence mémorisés sur le référentiel d’actions, ladite comparaison pouvant être réalisée par l’intermédiaire d’un modèle issu d’un apprentissage, ladite comparaison permettant de présélectionner, au sein de la pluralité d’images, une ou plusieurs images.

Une telle présélection permet un choix plus efficace des images et donc un traitement plus rapide. En outre, la prise en compte des marqueurs d’action permet d’augmenter la spécificité de l’analyse.

- l’étape de comparaison peut être réalisée à partir de descripteurs de points caractéristiques provenant de plusieurs caméras pour un même instant. Cela permet d’améliorer la caractérisation.

- il comporte l’attribution d’un identifiant unique à chaque point caractéristique par image et que chaque point caractéristique est associé à une position.

- la position de chaque point caractéristique est associée à un score de confiance. Le score de confiance peut être utilisé au moment de la génération de la valeur d’indice de caractérisation d’un mouvement pour en améliorer la précision.

- il comporte en outre une étape de classification de la ou des images présélectionnées, ladite classification correspondant à l’attribution d’une catégorie de mouvement à la ou aux images présélectionnées. De même cette étape permet d’améliorer la précision lors de la génération de la valeur d’indice de caractérisation d’un mouvement.

- au moins une partie des points caractéristiques de l’entité en mouvement sont des noeuds de jointures. Les noeuds de jointures permettent d’obtenir de très bons résultats dans le cadre de la présente invention.

Il comporte en outre une procédure de calibration des modèles et/ou référentiels utilisés dans le cadre du procédé. La calibration permet d’augmenter la spécificité et sensibilité de l’analyse.

- il comporte en outre une étape de reconnaissance faciale.

- il comporte une étape de transmission d’une alerte si la valeur d’indice de caractérisation d’un mouvement d’une entité en mouvement dépasse un seuil prédéterminé. - l’étape de réception comporte la réception d’au moins deux vidéos, de préférence d’au moins trois vidéos, en flux continu, en ce qu’une valeur d’indice de caractérisation d’un mouvement de l’entité en mouvement est généré pour chacune des vidéos et en ce qu’une valeur d’indice consolidé de caractérisation d’un mouvement de l’entité en mouvement est généré à partir de de chacune des valeurs d’indice de caractérisation d’un mouvement de l’entité en mouvement. La mise en œuvre du procédé sur plusieurs flux vidéo continu et la consolidation des valeurs d’indice déterminé permet d’augmenter la spécificité et sensibilité de l’analyse.

D'autres mises en œuvre de cet aspect comprennent des systèmes informatiques, des appareils et des programmes informatiques correspondants enregistrés sur un ou plusieurs dispositifs de stockage informatiques, chacun étant configuré pour effectuer les actions d’un procédé selon l’invention. En particulier, un système d’un ou de plusieurs ordinateurs peut être configuré pour effectuer des opérations ou des actions particulières, notamment un procédé selon l’invention, grâce à l’installation d’un logiciel, micrologiciel, matériel ou d’une combinaison de logiciels, micrologiciels ou matériel installé sur le système. En outre, un ou plusieurs programmes informatiques peuvent être configurés pour effectuer des opérations ou des actions particulières grâce à des instructions qui, lorsqu'elles sont exécutées par un appareil de traitement de données, obligent l'appareil à effectuer les actions.

L’invention porte en outre sur un produit programme d’ordinateur comportant une ou plusieurs instructions exécutables par un dispositif informatique, provoquant la mise en œuvre d’un procédé de caractérisation d’un mouvement d’une entité en mouvement selon l’invention.

L’invention porte en outre sur un système de caractérisation d’un mouvement d’une entité en mouvement, par exemple pour de l’aide à l’arbitrage ou l’entrainement sportif, ledit système comportant :

- un ou plusieurs dispositifs d’acquisition d’images, apte à transmettre une vidéo à un dispositif informatique, de préférence en flux continu ;

- le dispositif informatique incluant un processeur et une mémoire de données, ladite mémoire de données étant configurée pour stocker un référentiel d’actions de référence et un référentiel de mouvements de référence, ledit processeur étant configuré pour : o pré-sélectionner une ou plusieurs images au sein d’une pluralité d’images de la vidéo ; o Générer une pluralité de points caractéristiques de l’entité en mouvement sur la ou les images présélectionnées, lesdits points caractéristiques étant caractérisés par des valeurs de position ; o Calculer, à partir des valeurs de position des points caractéristiques, une pluralité de descripteurs des points caractéristiques pour plusieurs des images présélectionnées ; o Comparer la pluralité de descripteurs de points caractéristiques calculés à des descripteurs de points caractéristiques de référence mémorisés sur le référentiel de mouvements de référence, ladite comparaison pouvant être réalisée par l’intermédiaire d’un modèle issu d’un apprentissage ; et o Générer, à partir de la comparaison de la pluralité de descripteurs de points caractéristiques, une valeur d’indice de caractérisation d’un mouvement de l’entité en mouvement.

Le système selon l’invention repose en particulier, tout comme le procédé, sur sa capacité à identifier, extraire et analyser la position d’une entité en mouvement dans toute scène vidéo et cela sans nécessiter le port de marqueurs, de capteurs ou d’appareil invasif par le pratiquant. Le système permettra de connaître l’action que le pratiquant est train de réaliser.

Un système selon l’invention peut être utilisé en tant qu’assistance à l’arbitrage sportif dans le but d’une meilleure prise de décision arbitrale. Il peut aussi être utilisé en tant qu’assistance à l’entrainement sportif dans le but d’une amélioration de la performance.

D’autres avantages et caractéristiques de l’invention apparaîtront à la lecture de la description suivante donnée à titre d’exemple illustratif et non limitatif, en référence aux Figures annexées :

La figure 1 représente une illustration schématique d’un procédé de caractérisation d’un mouvement selon l’invention. Les étapes encadrées par des pointillés sont facultatives

La figure 2 représente une illustration schématique d’une étape de calibration selon un mode de réalisation du procédé de caractérisation d’un mouvement.

La figure 3 représente une illustration schématique d’une étape de présélection d’une ou de plusieurs images selon un mode de réalisation du procédé de caractérisation d’un mouvement.

La figure 4 représente une illustration d’une présélection d’une ou de plusieurs images au sein d’une pluralité d’images d’une séquence vidéo selon un mode de réalisation de l’invention.

La figure 5 représente une illustration d’une génération de forme englobante sur une pluralité d’images selon un mode de réalisation de l’invention.

La figure 6 représente une illustration d’une comparaison des formes englobantes générées de façon à calculer des marqueurs d’action entre formes englobantes selon un mode de réalisation de l’invention. La figure 7 représente plusieurs images décrivant différentes postures d’une entité en mouvement pour lesquelles ont été générées une pluralité de points caractéristiques de l’entité en mouvement selon un mode de réalisation du procédé de caractérisation d’un mouvement.

La figure 8 représente une illustration schématique d’une étape de calcul d’une pluralité de descripteurs des points caractéristiques selon un mode de réalisation du procédé de caractérisation d’un mouvement.

La figure 9 représente deux ensembles de points caractéristiques (disques) d’une même entité en mouvement, certains des points caractéristiques étant reliés par des segments, chacun des ensembles étant associé respectivement à une image qui diffère de l’autre image notamment par l’instant d’acquisition T1 , T2. La figure 9 représente en outre des descripteurs des points caractéristiques.

La figure 10 représente plusieurs images décrivant une action présentant différentes postures de deux entités en mouvement pour lesquelles ont été générées une pluralité de points caractéristiques selon un mode de réalisation du procédé de caractérisation d’un mouvement.

La figure 11 A représente un schéma d’un système de caractérisation d’un mouvement selon un mode de réalisation de l’invention. La figure 11 B représente un schéma d’un système de caractérisation d’un mouvement selon un mode de réalisation de l’invention.

Des aspects de la présente invention sont décrits en référence à des organigrammes et / ou à des schémas fonctionnels de procédés, d'appareils (systèmes) et de produits de programme d'ordinateur selon des modes de réalisation de l'invention.

Sur les figures, les organigrammes et les schémas fonctionnels illustrent l'architecture, la fonctionnalité et le fonctionnement d'implémentations possibles de systèmes, de procédés et de produits de programme d'ordinateur selon divers modes de réalisation de la présente invention. A cet égard, chaque bloc dans les organigrammes ou blocs-diagrammes peut représenter un système, un dispositif, un module ou un code, qui comprend une ou plusieurs instructions exécutables pour mettre en oeuvre la ou les fonctions logiques spécifiées. Dans certaines implémentations, les fonctions associées aux blocs peuvent apparaître dans un ordre différent que celui indiqué sur les figures. Par exemple, deux blocs montrés successivement peuvent, en fait, être exécutés sensiblement simultanément, ou les blocs peuvent parfois être exécutés dans l'ordre inverse, en fonction de la fonctionnalité impliquée. Chaque bloc des schémas de principe et / ou de l'organigramme, et des combinaisons de blocs dans les schémas de principe et / ou l'organigramme, peuvent être mis en oeuvre par des systèmes matériels spéciaux qui exécutent les fonctions ou actes spécifiés ou effectuer des combinaisons de matériel spécial et d'instructions informatiques. [Description de 1’inventionl

Dans la suite de la description, l’expression « caractérisation d’un mouvement » peut correspondre au sens de l’invention, à la qualification d’un mouvement réalisé par une entité en mouvement. En particulier, cela peut correspondre à l’identification d’un mouvement ou d’une action réalisée par une entité en mouvement. Par exemple cela peut correspondre à l’identification des actions suivantes : Feinte, Fente, Balestra, Tacle, Croc-en-jambe, Redoublement, et Ascenseur. De préférence, au sens de l’invention, la caractérisation d’un mouvement peut comporter une quantification. C’est-à-dire le calcul d’une valeur de conformité d’un mouvement identifié dans une séquence d’images sélectionnées à un mouvement de référence dont les caractéristiques ont été préalablement enregistrés. Ainsi, la présente invention peut permettre la détermination d’une probabilité de survenue d’un mouvement prédéterminé et en particulier la détermination de la bonne exécution d’un mouvement.

L’expression « valeur d’indice de caractérisation d’un mouvement » au sens de l’invention correspond à une valeur par exemple un score, une catégorie, un classement ou une note attribuée à un mouvement d’une entité en mouvement. En effet, la présente invention permet d’obtenir une valeur représentative du mouvement et cette valeur d’indice peut être générée sur la base de nombreuses échelles de tailles différentes (e.g. 1 , 5, 10, 100) linéaires ou non, numérique ou non. L’indice de caractérisation d’un mouvement attribué lors de la mise en oeuvre de la présente invention, peut également permettre d’affecter une entité en mouvement ou de préférence une action (i.e. un mouvement) à un groupe par exemple via une règle de décision. La caractérisation selon l’invention peut être réalisée notamment par la mise en oeuvre d’un algorithme de notation généré à partir d’une méthode statistique d’apprentissage ou de partitionnement.

Dans la suite de la description, l’expression « caractérisation d’un mouvement » peut correspondre au sens de l’invention, à la qualification d’un mouvement réalisé par une entité en mouvement. En particulier, cela peut correspondre à l’identification d’un mouvement ou d’une action réalisée par une entité en mouvement. Par exemple cela peut correspondre à l’identification des actions suivantes : Feinte, Fente, Balestra, Tacle, Croc-en-jambe, Redoublement, et Ascenseur. De préférence, au sens de l’invention, la caractérisation d’un mouvement peut comporter une quantification. C’est-à-dire le calcul d’une valeur de conformité d’un mouvement identifié dans une séquence d’images sélectionnées à un mouvement de référence dont les caractéristiques ont été préalablement enregistrés. Ainsi, la présente invention peut permettre la détermination d’une probabilité de survenue d’un mouvement prédéterminé et en particulier la détermination de la bonne exécution d’un mouvement. L’expression « valeur d’indice de caractérisation d’un mouvement » au sens de l’invention correspond à une valeur par exemple un score, une catégorie, un classement ou une note attribuée à un mouvement d’une entité en mouvement. En effet, la présente invention permet d’obtenir une valeur représentative du mouvement et cette valeur d’indice peut être générée sur la base de nombreuses échelles de tailles différentes (e.g. 1 , 5, 10, 100) linéaires ou non, numérique ou non. L’indice de caractérisation d’un mouvement attribué lors de la mise en oeuvre de la présente invention, peut également permettre d’affecter une entité en mouvement ou de préférence une action (i.e. un mouvement) à un groupe par exemple via une règle de décision. La caractérisation selon l’invention peut être réalisée notamment par la mise en oeuvre d’un algorithme de notation généré à partir d’une méthode statistique d’apprentissage ou de partitionnement.

Les « nœud de jointure » au sens de l’invention correspond à une position au niveau de laquelle se joignent au moins deux éléments d’un assemblage. De façon préférée, un nœud de jointure peut correspondre à une articulation d’un être vivant.

L’expression « valeur de position d’un point caractéristique » au sens de l’invention correspond par exemple aux valeurs de position en pixel d’un point caractéristique sur une image. Cette position peut aussi être exprimé dans un nouveau référentiel faisant abstraction des autres informations de l’image.

L’expression « descripteur des points caractéristiques » au sens de l’invention peut correspondre à une valeur de relation géométrique entre les positions d’au moins deux points caractéristiques d’une entité en mouvement ou les positions de segments, chacun reliant au moins deux points caractéristiques d’une entité en mouvement. Dans ce cas, elle correspond en particulier à des descripteurs de position intra-entité en mouvement Elle peut aussi correspondre à une relation géométrique entre les positions d’au moins deux points caractéristiques de deux entités en mouvement différentes ou les positions de segments, chacun reliant au moins deux points caractéristiques de deux entités en mouvement différentes. En outre, un descripteur de position peut correspondre à une combinaison de transformations mathématiques. Par exemple, un descripteur de position peut en particulier correspondre à : une valeur de distance entre deux points caractéristiques, une valeur d’un angle formé par deux segments chacun reliant au moins deux points caractéristiques, une valeur d’aire formée par des segments reliant au moins trois points caractéristiques, une valeur de la dérivée de révolution d’une distance entre deux points caractéristiques, une valeur l’évolution d’une distance entre deux points caractéristique au cours du temps, ou encore à une valeur de rapport entre deux distances. L’expression « marqueur d’action » au sens de l’invention peut correspondre à une relation mathématique entre des valeurs de dimension de formes englobantes d’une entité en mouvement provenant d’images différentes. En outre, un marqueur d’action peut correspondre à une combinaison de transformations mathématiques. Par exemple, un marqueur d’action peut en particulier correspondre à : une évolution de la valeur de ratio d’aspect d’une forme englobante au cours du temps, la dérivée de l’évolution de la valeur de ratio d’aspect d’une forme englobante, l’évolution d’une hauteur d’une forme englobante au cours du temps, ou encore un rapport entre deux valeurs de ratio d’aspect d’une forme englobante entre images successives.

L’expression « en flux continu » au sens de l’invention correspond à la lecture ou à l’analyse d'un flux vidéo ou audio et vidéo audio à mesure qu'il est généré par un appareil d’acquisition d’image. Cela s'oppose à la lecture ou à l’analyse de fichiers qui nécessite de récupérer l'ensemble des données d'une vidéo avant de pouvoir l’analyser.

L’expression « forme englobante » au sens de l’invention correspond à une boite ou un masque permettant d’englober la représentation de l’entité en mouvement sur une image et prenant par exemple une forme d’un ou de plusieurs polygones, ou d’une ou de plusieurs ellipses.

Le terme « pluralité » au sens de l’invention correspond à au moins deux. De préférence cela peut correspondre à au moins trois, de façon plus préférée au moins cinq et de façon encore plus préférée au moins dix.

Le terme « apprentissage » au sens de l’invention correspond à un procédé conçu pour définir une fonction f permettant de calculer une valeur de Y à partir d’une base de n observations labélisées (X1 ...n, Y1 ...n) ou non labélisées (X1 ...n). L’apprentissage peut être dit supervisé lorsqu’il se base sur des observations labélisées et non supervisé lorsqu’il se base sur des observations non labélisées. Dans le cadre de la présente invention, l’apprentissage est avantageusement utilisé pour la calibration du procédé et donc son adaptation à une application particulière telle qu’une activité sportive donnée.

Par « modèle » ou « règle » ou « algorithme de notation » il faut comprendre au sens de l’invention une suite finie d'opérations ou d'instructions permettant de caractériser un mouvement, c’est-à-dire classer un ou plusieurs mouvements (ou actions) d’une entité en mouvement au sein de groupes préalablement définis Y, et en particulier d’attribuer un score ou de hiérarchiser une ou plusieurs catégories de mouvement par rapport à un mouvement d’une entité en mouvement. La mise en oeuvre de cette suite finie d'opérations permet par exemple d’attribuer une étiquette Yo à une observation décrite par un ensemble de caractéristiques Xo grâce par exemple à la mise en œuvre d’une fonction f susceptible, de reproduire Y ayant observé X.

Y = f (X) + e où e symbolise le bruit ou erreur de mesure

On entend par « traiter », « calculer », « exécuter », « déterminer », « afficher », « extraire », « comparer » ou plus largement « opération exécutable », au sens de l’invention, une action effectuée par un dispositif ou un processeur sauf si le contexte indique autrement. À cet égard, les opérations se rapportent à des actions et / ou des processus d’un système de traitement de données, par exemple un système informatique ou un dispositif informatique électronique, qui manipule et transforme les données représentées en tant que quantités physiques (électroniques) dans les mémoires du système informatique ou d'autres dispositifs de stockage, de transmission ou d'affichage de l'information. Ces opérations peuvent se baser sur des applications ou des logiciels.

Les termes ou expressions « application », « logiciel », « code de programme », et « code exécutable » signifient toute expression, code ou notation, d'un ensemble d'instructions destinées à provoquer un traitement de données pour effectuer une fonction particulière directement ou indirectement (e.g. après une opération de conversion vers un autre code). Les exemples de code de programme peuvent inclure, sans s'y limiter, un sous-programme, une fonction, une application exécutable, un code source, un code objet, une bibliothèque et/ou tout autre séquence d'instructions conçues pour l'exécution sur un système informatique.

On entend par « processeur », au sens de l’invention, au moins un circuit matériel configuré pour exécuter des opérations selon des instructions contenues dans un code. Le circuit matériel peut être un circuit intégré. Des exemples d'un processeur comprennent, sans s'y limiter, une unité de traitement central, un processeur graphique, un circuit intégré spécifique à l'application (ASIC) et un circuit logique programmable.

On entend par « couplé », au sens de l’invention, connecté, directement ou indirectement avec un ou plusieurs éléments intermédiaires. Deux éléments peuvent être couplés mécaniquement, électriquement ou liés par un canal de communication.

L’expression « interface homme-machine » au sens de l’invention correspond à tout élément permettant à un être humain de communiquer avec un ordinateur en particulier et sans que cette liste soit exhaustive, un clavier et des moyens permettant en réponse aux ordres entrés au clavier d’effectuer des affichages et éventuellement de sélectionner à l’aide de la souris ou d’un pavé tactile des éléments affichés sur l’écran. Un autre exemple de réalisation est un écran tactile permettant de sélectionner directement sur l’écran les éléments touchés par le doigt ou un objet et éventuellement avec la possibilité d’afficher un clavier virtuel.

L’expression « objet connecté » au sens de l’invention, correspond à un objet électronique connecté, par une connexion filaire ou sans fil, à un réseau de transport de données, de manière que l’objet connecté puisse partager des données avec un autre objet connecté, un serveur, un ordinateur fixe ou mobile, une tablette électronique, un smartphone ou tout autre dispositif connecté d’un réseau donné. De manière connue en soi, de tels objets connectés peuvent être, par exemple, des tablettes, des dispositifs d’éclairage intelligents, des outils industriels ou encore des smartphones.

Dans la suite de la description, les mêmes références sont utilisées pour désigner les mêmes éléments.

Comme cela a été mentionné, il existe déjà des systèmes de suivi d’entité en mouvement et plus particulièrement de personnes ou d’objets. Néanmoins, les systèmes existants se contentent de détecter, et éventuellement d’identifier, une entité en mouvement puis de la suivre. Il existe très peu de système s’intéressant à la caractérisation d’une action ou d’un mouvement de ces entités en mouvement. Ponctuellement, certains proposent une comparaison d’une portion d’image associée à l’entité en mouvement avec des images de références mémorisées mais de tels systèmes sont au mieux lents et généralement imprécis.

Ainsi, avec les méthodes de l’art antérieur, il est fréquent que les personnes s’intéressant à des actions enregistrées par vidéo aient à revisionner à plusieurs des séquences au ralenti de façon à caractériser au mieux l’action ou le mouvement de l’entité. Ainsi, cela est chronophage et soumis à l’appréciation subjective d’une ou de plusieurs personnes. En outre le manque de sensibilité et de spécificité de la méthode en limite les applications.

Or il existe un besoin pour un procédé ou un système capable de générer un indice, de préférence à destination d’utilisateurs et en temps réel, capable de caractériser un mouvement d’une ou plusieurs entités en mouvement.

Comme cela sera détaillé par la suite, les inventeurs ont développé un système et un procédé de caractérisation d’un mouvement d’une entité en mouvement, passant par la génération d’une valeur d’indice de caractérisation d’un mouvement, présentant un haut niveau de reconnaissance et une rapidité de traitement permettant de faire les analyses en temps réel. Avantageusement, le système et le procédé de caractérisation d’un mouvement d’une entité en mouvement selon l’invention présenteront une bonne spécificité et sensibilité, avec éventuellement une spécificité supérieure à la sensibilité. En effet, bien que la sensibilité soit importante, la spécificité est encore plus importante car elle indique la capacité à ne pas sur solliciter les utilisateurs.

Ainsi, la présente invention porte notamment sur un procédé 1 de caractérisation d’un mouvement d’une entité en mouvement. Comme cela sera décrit par la suite, l’entité en mouvement peut avantageusement être un être vivant en mouvement. En outre, l’être vivant peut être un humain mais plus largement un animal. Par exemple, dans le domaine sportif intéressant particulièrement la présente invention, l’être vivant peut être un humain mais également un animal tel qu’un cheval.

En particulier, la caractérisation d’un mouvement peut correspondre à la caractérisation de l’exécution d’un mouvement. Avantageusement cela peut correspondre à la détermination d’une bonne, ou d’une mauvaise, exécution d’un mouvement par une entité en mouvement 9 notamment par rapport à un référentiel comportant les caractéristiques d’un mouvement correctement exécuté.

Ainsi, un tel procédé peut trouver de nombreuses applications dans des domaines très divers. Alors qu’il trouve une application manifeste dans le domaine de l’aide à l’arbitrage ou de l’entrainement sportif, il peut aussi trouver une application et répondre aux problématiques de caractérisation des mouvements d’objets ou d’êtres vivant dans des contextes ou la réponse doit être générée extrêmement rapidement. En effet comme cela a déjà été abordé, un des avantages de l’invention par rapport à des procédés existant est de pouvoir traiter des flux continus d’information en quelques secondes ou moins et en particulier à partir de caméra présentant des prises de vue mobiles ou encore des zooms avant ou arrière. Il est possible de citer dans ce contexte : la caractérisation du mouvement de personnes dans des lieux publics ou dans des salles d’entrainement.

Dans le cadre d’un procédé selon l’invention, une pluralité d’images d’une vidéo est réceptionnée de préférence en flux continu. Le suivi en continu correspond par exemple à des réceptions d’images réalisées à une fréquence inférieure ou égale à une seconde, de préférence inférieure ou égale à 500 ms. Les images sont quant à elles générées par exemple à une fréquence d’au moins 50 Hz, de préférence au moins 70 Hz.

En particulier, partant de la génération d’une image par un dispositif d’acquisition d’images (e.g. caméra), un procédé selon l’invention permet de préférence de générer une valeur d’indice de caractérisation d’un mouvement dans un délai inférieur ou égal à cinq secondes, de façon plus préférée inférieur ou égal à deux secondes, de façon encore plus préférée inférieur ou égal à une seconde. Comme cela sera détaillé par la suite, un procédé 1 de caractérisation d’un mouvement d’une entité en mouvement selon l’invention peut être mis en oeuvre par un système 2 comportant un dispositif informatique 10 incluant un processeur 11 et une mémoire de données 12. En particulier, la mémoire de données est configurée pour stocker un référentiel d’actions de référence 12a et un référentiel de mouvements de référence 12b.

Comme illustré à la figure 1 , un procédé 1 de caractérisation d’un mouvement d’une entité en mouvement selon l’invention comporte les étapes de : réception 300 d’une vidéo, pré-sélection 400 d’une ou de plusieurs images au sein d’une pluralité d’images de la vidéo, génération 500 d’une pluralité de points caractéristiques de l’entité en mouvement sur la ou les images présélectionnées, calcul 600 d’une pluralité de descripteurs des points caractéristiques pour plusieurs des images présélectionnées, comparaison 700 de la pluralité de descripteurs des points caractéristiques calculés à des descripteurs de points caractéristiques de référence et génération 800 d’une valeur d’indice de caractérisation d’un mouvement d’une entité en mouvement 9.

En outre, un procédé 1 de caractérisation d’un mouvement d’une entité en mouvement selon l’invention peut comporter les étapes de calibration 100 des modèles et référentiels utilisés, de traitement 200 d’une pluralité d’images de la vidéo, et de transmission 900 d’une alerte si la valeur d’indice de caractérisation d’un mouvement d’une entité en mouvement dépasse un seuil prédéterminé.

Des modes de réalisation avantageux de ces étapes sont décrits ci-après en référence aux figures.

En particulier, la présente invention peut comporter une procédure de calibration 100 des modèles et/ou référentiels utilisés dans le cadre du procédé 1 de caractérisation d’un mouvement.

Une calibration selon un mode de réalisation est en particulier illustrée à la figure 2.

Comme illustré, la procédure de calibration 100 peut comporter une étape d’entrainement 110 d’un modèle utilisable pour la comparaison des marqueurs d’action identifiés à des marqueurs d’action de référence, une étape d’entrainement 120 d’un modèle utilisable pour la comparaison 700 d’une pluralité de descripteurs des points caractéristiques calculés à des descripteurs des points caractéristiques de référence et une étape de personnalisation 130 des modèles précédemment générés.

Ces différentes étapes peuvent être au moins en partie basées sur les principes généraux des mathématiques statistiques et plus particulièrement de l’apprentissage, qu’il soit supervisé ou non supervisé. De façon préférée, la procédure de calibration 100 comporte des étapes d’apprentissages supervisés et/ou non supervisés basées sur des valeurs générées à partir de séquence d’images représentant au moins un mouvement d’une entité en mouvement. Ainsi, les valeurs de références pourront être particulièrement adaptées à une typologie d’entité en mouvement et/ou d’actions suivies par le procédé et/ou le dispositif selon l’invention.

La procédure de calibration 100 peut débuter par un prétraitement des valeurs de descripteurs des points caractéristiques de façon à en faciliter l’exploitation ultérieure. Un prétraitement selon l’invention peut par exemple comporter : une normalisation des données, un rééchantillonnage et/ou une agrégation de données. Un tel prétraitement pourra aussi être mis en oeuvre avant les étapes de comparaison 420 des valeurs de dimensions des formes englobantes et de comparaison 700 de la pluralité de descripteurs des points caractéristiques calculés.

En particulier, comme cela a été abordé, l’étape 110 porte avantageusement sur l’entrainement d’un modèle pour la comparaison des marqueurs d’action identifiés à des marqueurs d’action de référence. Cet entrainement peut être réalisé directement sur une ou plusieurs images catégorisées et donc associées à une action particulière. Le modèle peut en particulier être mémorisé sur le référentiel 12a d’actions de référence. Comme cela sera détaillé par la suite, une telle comparaison permet de présélectionner, au sein de la pluralité d’images, une ou plusieurs images 431 qui feront l’objet d’un traitement ultérieur.

En particulier, comme cela a été abordé, l’étape 120 porte avantageusement sur un entrainement d’un modèle pour la comparaison d’une pluralité de descripteurs des points caractéristiques calculés à des descripteurs des points caractéristiques de référence. Cet entrainement peut être réalisé directement sur une sélection d’images catégorisées et donc associées à une action particulière. Le modèle peut en particulier être mémorisé sur le référentiel 12b de mouvements de référence. Le modèle utilisé peut en particulier être un modèle de réseau de neurones par exemple de type Perceptron, multicouches acycliques, Perceptron multicouches. De préférence, le modèle utilisé est un ADALINE ou une machine de Cauchy.

En particulier, la procédure de calibration 100 des modèles et/ou référentiels peut comporter une étape 130 de personnalisation des modèles. Une telle étape peut notamment comporter la transmission au dispositif informatique selon l’invention d’une séquence d’image relatives à la réalisation d’une action par une entité en mouvement. Cela peut par exemple correspondre à une prise vidéo d’une feinte réalisée par un champion olympique ou mondial.

L’étape 130 peut alors avantageusement comporter une génération de marqueurs d’action qui pourront être enregistrés comme des marqueurs d’action de référence pour la sélection d’une ou de plusieurs images dans le cadre du procédé en complément des autres données de référence.

En outre, l’étape 130 peut comporter une génération de points caractéristiques et le calcul d’une pluralité de descripteurs des points caractéristiques qui pourront avantageusement être enregistrés comme des descripteurs des points caractéristiques de référence. Ces nouveaux descripteurs des points caractéristiques de référence pourront être utilisés de façon à générer un indice de caractérisation de mouvement de l’entité en mouvement par rapport à un champion olympique ou mondial.

Cela permet un haut niveau de personnalisation du procédé. Ainsi, il est possible de caractériser et d’enregistrer des mouvements provenant d’entité en mouvement particulières tel que par exemple des sportifs d’envergure internationale enregistrant leur mouvement les plus aboutis de façon à les mettre à disposition de pratiquant souhaitant faire évoluer leur pratique.

Parmi les nombreuses méthodes possibles pour générer des modèles utilisables dans la présente invention, il est possible de distinguer les approches non supervisées et les approches supervisées.

L’étape d’entrainement d’un modèle pour la comparaison des marqueurs d’action selon l’invention peut mettre en oeuvre une méthode d’apprentissage non supervisée. La méthode d’apprentissage non supervisée peut reposer sur une notion de proximité. Ainsi, avantageusement, une méthode d’apprentissage non supervisée mise en oeuvre lors de l’étape de pré-sélection 400 d’une ou de plusieurs images peut par exemple comporter une classification non supervisée, un calcul de la densité ou la recherche des plus proches voisins. En particulier, la classification non supervisée permet de regrouper les données en groupes de densités différentes, les points d'un petit groupe correspondent généralement à des images d’intérêt à présélectionner. Lors de l’étude d’une nouvelle séquence d’image, un procédé selon l’invention pourra comporter un calcul de la distance entre les marqueurs d’action des différentes images et former des groupes. Si certaines images sont éloignées de tous les autres points alors ces images peuvent être présélectionnées.

Le calcul de la densité peut par exemple correspondre aux algorithmes de type LOF (« Local Outlier Factor » en terminologie anglosaxonne), GLO (« Global-Local Outlier » en terminologie anglosaxonne) ou DBSVM « Density Based Support Vector Machines » en terminologie anglosaxonne). En particulier, le calcul de la densité peut comporter le calcul, pour chaque point, d’une densité de son voisinage local (k) puis le calcul d’un facteur de dépassement local d'un échantillon p comme moyenne des rapports de la densité de l'échantillon p et de la densité de ses plus proches voisins. Les valeurs anormales sont alors des points avec la plus grande valeur de facteur de dépassement local. Un procédé de caractérisation selon l’invention peut également mettre en oeuvre des approches supervisées pour la présélection d’une ou de plusieurs images. En particulier, une étape de présélection 400 ou une étape de comparaison 700 selon l’invention peut comporter la mise en oeuvre d’une méthode d’apprentissage supervisée.

Parmi les méthodes d’apprentissage supervisées, les réseaux de neurones, les arbres de classification, la recherche des plus proches voisins ou les arbres de régression sont parmi les techniques d’apprentissage automatique les plus robustes et les plus efficaces dans le cadre d’un procédé selon l’invention.

Il est par exemple possible d’utiliser une étape d’apprentissage supervisé pour apprendre à des arbres à classer les images. Pour cela, le procédé comporte de préférence une étape préalable de réception d’images labélisées ou de façon plus préférée de marqueurs d’action labélisés.

Un procédé selon l’invention peut par exemple mettre en oeuvre des valeurs de seuils prédéterminés ou des motifs prédéterminés. Les valeurs de références peuvent alors être des seuils prédéterminés et par exemple renseignées par un opérateur par une interface graphique.

Un procédé 1 de caractérisation d’un mouvement selon l’invention peut comporter un traitement 200 d’une pluralité d’images d’une vidéo aussi appelé traitement 200 vidéo.

Comme cela est illustré à la figure 1 , le traitement 200 d’une pluralité d’images d’une vidéo peut être réalisé avant une étape de réception 300 d’une vidéo par un dispositif informatique 10. Dans ce cas, le traitement 200 vidéo peut être réalisé par le dispositif d’acquisition de la vidéo (e.g. caméra) ou par un dispositif de traitement disposé entre le ou les dispositifs d’acquisition de la vidéo mis en oeuvre dans le cadre de l’invention et le dispositif informatique 10.

Alternativement ou en complément, un procédé 1 selon l’invention peut comporter un traitement 200 vidéo après l’étape de réception 300 d’une vidéo par un dispositif informatique 10. Dans ce cas, le traitement 200 vidéo pourra être réalisé par le dispositif informatique 10.

L’étape de traitement 200 d’une pluralité d’images de la vidéo peut correspondre à une grande diversité de transformation des images de façon à en faciliter l’exploitation ultérieure. L’étape de traitement 200 vidéo peut par exemple comporter : une transformation d’espace colorimétrique, un passage en niveau de gris, une normalisation des effets de contraste, une normalisation des effets de luminosité, une correction gamma, un recadrage et/ou un redimensionnement.

Un procédé 1 de caractérisation d’un mouvement selon l’invention comporte une étape de réception 300 d’une vidéo. C’est par exemple un dispositif informatique 10 qui réceptionnera la ou les vidéos. Avantageusement, la vidéo réceptionnée correspond à un flux vidéo continu. En effet, comme cela a été mentionné, la présente invention permet un traitement rapide des images et la caractérisation d’un mouvement en moins de quelques secondes. Ainsi, il est particulièrement adapté à un flux vidéo continu et en temps réel.

De préférence, le procédé peut comporter la réception de plusieurs vidéos et de préférence de plusieurs flux vidéo continus.

En particulier, lors de la mise en oeuvre de l’invention, un dispositif d’acquisition vidéo, tel qu’une caméra pourra capturer une séquence 401 d’images ou pluralité d’images, ladite séquence 401 d’image étant composé de plusieurs images 431. Dans un mode de réalisation particulier, la vidéo peut correspondre à un flux vidéo continu qui est transféré au dispositif informatique 10 en temps réel ou en différé. Dans un autre mode de réalisation, la vidéo peut correspondre à des données d'images mémorisées stockées puis analysées.

Un procédé 1 de caractérisation d’un mouvement selon l’invention comporte une étape de présélection 400 d’une ou de plusieurs images au sein d’une pluralité d’images 401 de la vidéo. C’est en particulier le processeur 11 d’un dispositif informatique 10 qui pourra être configuré pour réaliser une telle étape.

L’étape de pré-sélection 400 d’une ou de plusieurs images est en particulier destinée à sélectionner parmi la pluralité d’images d’une vidéo, les images se référant à un mouvement d’un intérêt particulier. Ainsi, au lieu de mettre en oeuvre les étapes ultérieures du procédé sur toutes les images de la vidéo, le procédé pourra appliquer ces étapes seulement sur une partie des images. Les images sont alors de préférence présélectionnées en fonction de leur contenu et en particulier, comme cela sera décrit par la suite, de l’évolution de l’entité en mouvement dans la pluralité d’images.

Il existe une grande diversité de méthodes permettant de présélectionner seulement une partie des images d’une vidéo. Il pourrait par exemple être utilisé la bande sonore associée aux images de la vidéo et ne sélectionner que les images associées avec certaines caractéristiques sonores prédéfinis. La présélection pourrait également être basée sur des caractéristiques de contenus des images. En particulier, les inventeurs ont déterminé que l’invention présente des performances améliorées lorsqu'un procédé 1 selon l’invention comportait une identification d’une action prédéterminée réalisée par une entité en mouvement 9. En particulier, une telle identification peut correspondre au calcul d’un marqueur d’action (i.e. de mouvement) d’une entité en mouvement 9 dans une séquence d’image et sa comparaison avec un marqueur d’action (i.e. de mouvement) prédéterminé (e.g. de référence). En particulier, un procédé conforme à l’invention ne comporte pas de comparaison d’une image ou d’une portion d’image à une collection d’images. Ainsi, contrairement à des méthodes de l’art antérieure basées sur l’utilisation d’une collection d’images d’entité en mouvement ou d’action, dans le procédé selon l’invention, il n’y a de préférence pas de comparaison d’une partie d'une image sensée correspondre à une potentielle entité en mouvement 9, à une image de référence.

Dans un mode de réalisation illustré à la figure 3, le procédé selon l’invention comporte en particulier la génération 410 d’au moins une forme englobante 411 , 411a, 411b, décrite en lien avec la figure 4, sur une pluralité d’images. La génération d’une forme englobante peut correspondre à l’identification d’un contour ou d’une forme ou plus largement à l’identification de données de géométrie d’une entité en mouvement 9. Cette étape de génération 410 d’au moins une forme englobante peut être répétée pour plusieurs entités en mouvement 9 différentes.

La figure 4 illustre en particulier une série d’images comportant deux entités en mouvement 9a, 9b et la figure 5 présente une génération d’au moins une forme englobante 411 a, 411 b sur une séquence d’images.

Avantageusement, le procédé selon l’invention va permettre la sélection automatique d’une entité en mouvement 9 (par exemple sur la figure 4, un escrimeur 9a à gauche et un escrimeur 9b à droite). Un procédé classique peut par exemple consister à effectuer un suivi basé sur le mouvement de l’entité en mouvement en comparant deux images successives. L'identification d'une entité en mouvement pourrait être effectuée manuellement à l'aide d'un écran tactile ou d'un autre procédé de saisie dans lequel un objet d'intérêt est sélectionné. Néanmoins, l’entité en mouvement est de préférence identifiée automatiquement.

Les formes englobantes peuvent être caractérisées par des valeurs de dimensions. Les dimensions particulières pouvant être étudiées vont être dépendantes de la forme géométrique de la forme englobante. Par exemple, un polygone, comme un rectangle pourra être caractérisé par une valeur de hauteur et une valeur de largueur ; une ellipse ou un assemblage d’ellipse pourra quant à lui être défini par une droite directrice et des valeurs de foyer et d’excentricité. Ainsi, la génération 410 d’une ou de plusieurs formes englobantes est de préférence associée au calcul de valeurs de dimensions. Les valeurs de dimensions peuvent par exemple correspondre à une valeur de longueur, de largeur, de circonférence, d’angle, de volume. Les valeurs de dimensions peuvent également correspondre à un rapport entre deux dimensions comme par exemple un rapport entre une hauteur et une largeur.

En outre, les formes englobantes peuvent être caractérisées par un identifiant unique partagé pour toutes les représentations d’une même entité en mouvement au fil des images d’une séquence. Dans ce cas les formes englobantes peuvent correspondre à une même entité en mouvement 9 représentée sur différentes images.

Il peut y avoir plusieurs formes englobantes par image. En effet, une même image issue d’une vidéo peut comporter plusieurs entités en mouvement. En outre, il est possible qu’il ne soit pas possible de générer une forme englobante sur une des images. Dans ce cas l’image peut être supprimée de l’ensemble d’images traitées.

En particulier, il est connu des procédés de détection et de suivi d’entité en mouvement (US9852511 , US9836852, US9665804, US-9811732, US9865062). Ces procédés comportent généralement la définition de formes englobantes puis le suivi du déplacement de ces formes englobantes au fil d’une séquence d’images. Ici, la présente invention comporte en outre avantageusement la caractérisation de la modification de la géométrie d’une forme englobante au fil d’une séquence d’images et sa comparaison à une modification prédéterminée de la géométrie d’une forme englobante. Ainsi, les inventeurs ont déterminé qu’au-delà du déplacement de la forme englobante, c’est l’évolution de sa géométrie dans le temps et la comparaison de cette évolution à des évolutions de géométrie prédéterminées qui permet d’obtenir les meilleurs résultats.

Ainsi, avantageusement, une fois des formes englobantes générées sur les images, le procédé peut comporter une comparaison 420 des valeurs de dimensions de formes englobantes générées pour deux images différentes.

En effet, l’invention s’intéresse en particulier à une action réalisée par une entité en mouvement 9. Une telle action pourra être détectée en fonction d’une évolution de l’entité en mouvement 9 dans le temps. Cela peut en particulier passer par une comparaison de la position de l’entité en mouvement 9, en particulier de formes englobantes de cette entité en mouvement 9 et plus particulièrement de valeurs de dimensions de ces formes englobantes, entre deux images prises à des instants différents (e.g. deux images successives dont l’instant d’acquisition est décalé de quelques dizaines de millisecondes).

La figure 6, illustre par exemple l’évolution des dimensions de deux formes englobantes 411a, 411b, associées aux escrimeurs de gauche 9a et de droite 9b, au fil des images 401b, 401c, 401 d, 401e prises successivement. Ces dimensions sont en particulier la largeur et la hauteur des formes englobantes. Les valeurs de largeur et de hauteur des formes englobantes peuvent être utilisées pour calculer une valeur de ratio d’aspect.

Le tableau 1 ci-dessous comporte les valeurs d’une dimension des formes englobantes 411 a et 411 b en fonction des images. Il présente également des valeurs de référence pour les dimensions des formes englobantes pouvant être utilisées en complément des marqueurs d’action de référence lors de la présélection des images.

[Tableau 1]

Ainsi, le tableau 1 montre que l’entité escrimeur de droite 9b pourrait exécuter une action d’intérêt étant donné que sur deux images 401 d, 401e, la valeur de ratio d’aspect va au-delà d’un seuil prédéterminé (Valeur de référence).

La comparaison 420 des valeurs de dimension peut permettre de calculer des marqueurs d’action entre formes englobantes, lesdits marqueurs d’action correspondant en particulier à des modifications des valeurs de dimensions des formes englobantes entre images.

Le procédé peut alors comporter une comparaison 430 des marqueurs d’action identifiés à des motifs de marqueurs d’action de référence mémorisés sur le référentiel 12a d’actions.

La figure 6 illustre en particulier la comparaison des valeurs de dimension de la forme englobante 411b entre les images 401c et 401 d de façon à calculer un marqueur d’action 421. Elle illustre aussi la comparaison des valeurs de dimension de la forme englobante 411 b entre les images 401 c et 401 e de façon à calculer un marqueur d’action 422.

Comme présenté dans le tableau 2 ci-dessous, un marqueur d’action peut par exemple correspondre à une évolution d’un ratio d’aspect et plus particulièrement le rapport entre le ratio d’aspect d’une forme englobante sur une première image 401 d et le ratio d’aspect de cette forme englobante sur une deuxième image 401 c.

[Tableau 2]

Ainsi, le tableau 2 montre que l’entité escrimeur de droite 9b pourrait exécuter une action d’intérêt étant donné que l’évolution du ratio d’aspect entre les images 401c et 401 d puis 401c et 401 e présente une valeur allant au-delà d’un seuil prédéterminé (Valeur de référence).

L’étape de comparaison 430 peut aussi prendre en compte, en outre, des données extérieures telle qu’une bande sonore.

La comparaison peut être réalisé à partir de base de données enregistrées par exemple sur un ou plusieurs fichiers plats. Avantageusement, la comparaison 430 peut être réalisée par l’intermédiaire d’un modèle issu d’un apprentissage. Ainsi, les modèles détaillés notamment lors de la description de l’étape 100 de calibrage sont adaptés.

En particulier, l’étape de présélection 400 comporte un calcul d’une valeur de relation mathématique entre les valeurs de dimension de formes englobantes d’une même image et une partie au moins des marqueurs d’action correspond à cette valeur de relation mathématique entre les valeurs de dimension de formes englobantes d’une même image.

De préférence, l’étape de présélection 400 comporte un calcul d’une valeur de relation mathématique entre les valeurs de dimension d’une même forme englobante provenant de deux images différentes et une partie au moins des marqueurs d’action correspond à cette valeur de relation mathématique entre les valeurs de dimension d’une même forme englobante provenant de deux images différentes.

En outre, l’étape de présélection 400 peut comporter un calcul d’une valeur de relation mathématique entre les valeurs de dimension d’une même forme englobante provenant de deux images différentes et un calcul d’une valeur d’évolution de cette valeur de relation mathématique entre les valeurs de dimension d’une même forme englobante provenant de deux images différentes et en ce qu’une partie au moins desdits descripteurs des points caractéristiques 501 correspond à cette valeur d’évolution.

Comme cela a été évoqué, la comparaison 430 permet de présélectionner, au sein de la pluralité d’images, une ou de plusieurs images 431 .

En outre, le procédé selon l’invention peut comporter une étape de classification 440 de la ou des images présélectionnées. La classification correspond en particulier à l’attribution d’une catégorie d’action (ou de mouvement) à la ou aux images présélectionnées.

Par exemple, un procédé selon l’invention peut comporter le calcul de scores de similarité des images présélectionnées à plusieurs catégories d’action (ou de mouvement). La comparaison des scores de similarité entre eux pour une même image et éventuellement à un seuil prédéterminé de score de similarité, peut permettre d’attribuer une catégorie d’action (ou de mouvement) à plusieurs, de préférence chacune, des images présélectionnées. De façon préférée, le procédé selon l’invention comporte une étape de détermination d’une catégorie d’action (ou de mouvement) pour des images présélectionnées. Ainsi, ces images pourront être associées à une action particulière et leur traitement ultérieur n’en sera que plus précis et plus rapide. En particulier, la catégorie d’action déterminée pourra ensuite être utilisée lors de la comparaison 700 de façon à sélectionner seulement des descripteurs de points caractéristiques de référence associés à cette catégorie d’action (ou de mouvement). De même, la catégorie d’action (ou de mouvement) déterminée pourra ensuite être utilisée lors du calcul 600 des descripteurs des points caractéristiques de façon à sélectionner seulement des descripteurs adaptés à cette catégorie d’action (ou de mouvement).

Le procédé selon l’invention, en particulier au cours de l’étape 400 de présélection peut comporter une étape de reconnaissance faciale. La reconnaissance faciale peut être réalisée par différentes techniques de l’état de la technique telles que celle décrites dans les documents ci-après (KR20180079894, EP1910977, US20170193284).

De façon préférée, un procédé selon l’invention, en particulier au cours de l’étape 400 de présélection peut comporter une étape de reconnaissance d’émotions. La reconnaissance d’émotions peut être réalisée par différentes techniques de l’état de la technique telles que celle décrites dans les documents ci-après (KR20180109227, US20190213400, WO2019/107641). En particulier, la reconnaissance d’émotion peut comporter l’identification d’une expression faciale associée à la souffrance.

La présence ou l’absence de données faciales reconnues et/ou d’émotions reconnues est une donnée pouvant aussi être utilisée lors de la génération 800 d’une valeur d’indice de caractérisation d’un mouvement et/ou lors de la transmission 900 d’une alerte.

Un procédé 1 de caractérisation d’un mouvement selon l’invention comporte une étape de génération 500 d’une pluralité de points caractéristiques 501 de l’entité en mouvement 9 sur la ou les images présélectionnées 431. C’est en particulier le processeur 11 d’un dispositif informatique qui pourra être configuré pour réaliser une telle étape.

Les points caractéristiques 501 sont de préférence caractérisés par des valeurs de position, de préférence sur chaque image présélectionnée 431 .

La figure 7 illustre en particulier une image présélectionnée 431 pour laquelle des points caractéristiques 501 de chacune des entités en mouvement 9a, ont été générés.

Les points caractéristiques de l’entité en mouvement 9a ou 9b sont généralement des points correspondant à des positions d’importance dans la caractérisation d’une entité en mouvement.

Ainsi, les points caractéristiques 501 de l’entité en mouvement 9a ou 9b correspondent de préférence au moins en partie à des noeuds de jointure, de façon plus préférée ils correspondent exclusivement à des nœuds de jointure. Alternativement, l’invention peut être mise en œuvre avec des points caractéristiques correspondants à la structure osseuse d’une entité en mouvement animale ou encore correspondants à l’enveloppe extérieure de l’entité en mouvement.

A titre d’exemple non limitatif, il peut être particulièrement avantageux de pouvoir déterminer la posture d’une entité en mouvement 9a, 9b dans le cadre de l’arbitrage d’un sport tel que l’escrime. En effet, il peut être très compliqué pour un arbitre de déterminer quelle entité en mouvement 9a, 9b à initier une action, par exemple un assaut, correspondant à la rencontre ou à la touche de l’une ou l’autre des entités en mouvement par l’intermédiaire de leur fleuret, et à toucher l’adversaire en premier. De tels nœuds de jointure peuvent ainsi caractériser la posture de l’entité en mouvement 9a ou 9b, notamment une posture d’un escrimeur de type « garde », « préparation » ou encore « attaque ». La détermination de telles positions, respectivement associées à une image présélectionnée 431 , peut permettre d’estimer les postures respectives de chaque entité en mouvement 9a, 9b à un moment donné et permettre à un arbitre de déterminer quelle entité en mouvement 9a ou 9b à amorcer son action en premier, notamment en analysant le passage d’une posture en « garde », à une posture en « préparation » jusqu’à une posture « attaque » qui pourra se solder par un jugement en faveur de l’une ou l’autre des entités en mouvement 9a, 9b. Néanmoins, comme cela est compréhensible à la lecture de ce document, la présente invention peut trouver une utilisation dans de nombreux domaines, dont des domaines sportifs par exemple pour de l’aide à l’arbitrage ou de l’aide à l’entrainement. Par exemple, les sports pouvant bénéficier de la présente invention peuvent être sélectionnés parmi : la Boxe, l’Escrime, le Judo, la Lutte gréco-romaine, la Lutte libre olympique, le Taekwondo, le Karaté, le Patinage, l’Equitation, le Canoë Kayak, le Cyclisme de piste, le Football, le Football américain, le Rugby, le Basket, le Baseball, le Volleyball, le Waterpolo, le Handball, le Tennis, le Squash, le Badminton, le Frontenis, le Tennis de table, la Gymnastique, la Natation synchronisée, et la Danse synchronisée. En particulier et comme cela est illustré dans cette description, l’invention pourra être utilisée dans le domaine de l’escrime, du football, et de l’équitation. Par exemple, elle pourra avantageusement être utilisée lors de l’arbitrage vidéo dans les disciplines d’équitation en cross-country pour le saut d'obstacles et dans l’Attelage pour le franchissement d'obstacles.

Il existe de nombreuses méthodes pour la génération d’une pluralité de points caractéristiques. Ces points et en particulier dans le cas de nœuds de jointure, peuvent notamment être générés selon une approche « Top-down » ou selon une approche « bottom-up ».

Les points caractéristiques sont caractérisés de préférence par un identifiant unique à chaque nœud de jointure par image et à des valeurs de position sur l’image ou sur tout autre référentiel. Les nœuds de jointures sont sélectionnés par exemple parmi au moins dix nœud de jointures, de préférence au moins quinze de façon plus préférée dix-sept nœuds de jointures. Les nœuds de jointures peuvent notamment être sélectionnés parmi : œil droit, œil gauche, oreille droite, oreille gauche, nez, épaule droite, épaule gauche, coude droit, coude gauche, poignet droit, poignet gauche, hanche droite, hanche gauche, genou droit, genou gauche, cheville droite et cheville gauche. De préférence, les nœuds de jointures sont sélectionnés parmi : épaule droite, épaule gauche, coude droit, coude gauche, poignet droit, poignet gauche, hanche droite, hanche gauche, genou droit, genou gauche, cheville droite et cheville gauche.

En particulier dans le cas de nœud de jointure, la position de chaque nœud de jointure est avantageusement associée à un score de confiance. Ainsi, le procédé selon l’invention peut évaluer si le positionnement des points caractéristique peut être considéré comme fiable ou si les résultats ultérieurs obtenus doivent être modulés par une éventuelle incertitude sur le positionnement des points caractéristiques. Ainsi, le procédé peut avantageusement comporter une étape de calcul d’un score de confiance pour chaque nœud de jointure.

Un procédé 1 de caractérisation d’un mouvement selon l’invention comporte une étape de calcul 600 d’une pluralité de descripteurs 701 des points caractéristiques 501 pour plusieurs des images présélectionnées 431. C’est en particulier le processeur 11 d’un dispositif informatique qui pourra être configuré pour réaliser une telle étape. De préférence, elle est réalisée à partir des valeurs de position des points caractéristiques 501 préalablement calculées. Ce calcul 600 est réalisé pour plusieurs des images présélectionnées 431. Alternativement, ce calcul est réalisé pour chacune des images présélectionnées. En particulier, il peut être réalisée pour au moins deux images présélectionnées 431 , de préférence pour au moins trois images présélectionnées 431 , de façon plus préférée pour toutes les images présélectionnées 431 .

La figure 8 illustre des sous étapes particulières du calcul 600 d’une pluralité de descripteurs 701 des points caractéristiques. En particulier, les descripteurs des points caractéristiques les plus pertinent et les plus informatifs sur un mouvement peuvent différer en fonction d’un mouvement considéré. Ainsi, avantageusement, le calcul de ces descripteurs de points caractéristiques peut être précédé par une sélection 610 des descripteurs à calculer les plus pertinent et cela peut notamment être réalisé selon une valeur associée aux images présélectionnées telle que par exemple une catégorie de mouvement.

Les descripteurs des points caractéristiques permettent de décrire la position des points caractéristiques les uns par rapport aux autres mais aussi l’évolution de ces positions en fonction du temps. Ainsi, cette étape de calcul 600 des descripteurs des points caractéristique peut comporter un calcul 620 d’une valeur de relation géométrique entre des points caractéristiques et/ou un calcul 630 d’une valeur d’évolution des valeurs de relation géométrique des points caractéristiques entre deux images présélectionnées. Avantageusement les descripteurs des points caractéristiques peuvent être normalisés de façon à s’adapté à n’importe quelle évolution de la prise de vue.

Comme cela est illustré à la figure 9, une entité en mouvement, tel qu’un escrimeur, est définie par la position dans l’espace des points caractéristiques 501 à un premier instant T1 et à un deuxième instant T2.

Le procédé selon l’invention comporte en particulier le calcul de la valeur d’une pluralité de descripteur de points caractéristiques 701a, 702a, 703a, 701b, 702b, 703b en fonction de préférence d’une valeur de relation géométrique entre les points caractéristiques.

Par exemple, un descripteur de points caractéristiques peut correspondre à l’angle 702a formé par deux segments associés à l’entité en mouvement, ou la distance 701a entre deux points caractéristiques 501 de l’entité en mouvement ou encore la surface 703a d’un polygone formé à partir des points caractéristiques.

En outre, un procédé selon l’invention peut comporter une étape de calcul d’une valeur de relation géométrique entre les points caractéristiques 501 , de préférence à partir des valeurs de position, et un calcul d’une valeur d’évolution de relation géométrique entre des valeurs de position des points caractéristiques 501 entre deux images présélectionnées. Dans ce cas, une partie au moins des descripteurs des points caractéristiques correspond à cette valeur d’évolution de relation géométrique entre les valeurs de position des points caractéristiques. Alternativement, une partie au moins des descripteurs des points caractéristiques correspond à cette valeur d’évolution des valeurs de relation géométrique des points caractéristiques entre deux images présélectionnées.

Par exemple, comme cela est illustré à la figure 9, la valeur d’évolution 701 de la distance entre deux points caractéristiques 501 de l’entité en mouvement peut être un descripteur des points caractéristiques au sens de l’invention. De façon préférée, une partie au moins desdits descripteurs de position des points caractéristiques 501 correspondent une valeur d’évolution de la relation géométrique entre des valeurs de position des points caractéristiques 501 entre deux images présélectionnées.

Comme cela est illustré à la figure 10, un procédé de caractérisation d’un mouvement conforme à l’invention peut être mis en œuvre pour analyser une action en lien avec une succession d’images décrivant deux entités en mouvement dans le cadre d’un match de football. Comme évoqué précédemment en lien avec la figure 9, une valeur de relation géométrique entre des points caractéristiques à partir des valeurs de position, et une valeur d’évolution de relation géométrique entre des valeurs de position desdits points caractéristiques, entre deux images présélectionnées peuvent être calculées. Les points caractéristiques ainsi sélectionnés peuvent notamment correspondre à un point caractéristique d’une entité en mouvement 9a et à un point caractéristique d’une entité en mouvement 9b. cela peut avantageusement fournir une aide précieuse à un arbitre, désireux de déterminer si une faute a été commise entre deux joueurs. L’analyse de l’évolution de relation géométrique des points caractéristiques de deux entités en mouvement au travers d’une succession d’images décrivant une action peut permettre de caractériser qu’un contact physique a bien eu lieu entre lesdites entités en mouvement et ainsi faciliter l’arbitrage.

Un procédé 1 de caractérisation d’un mouvement selon l’invention comporte une étape de comparaison 700 de la pluralité de descripteurs de points caractéristiques calculés à des descripteurs de points caractéristiques de référence. C’est en particulier le processeur 11 d’un dispositif informatique qui pourra être configuré pour réaliser une telle étape. En particulier, elle peut être réalisée à partir des descripteurs de points caractéristiques de référence mémorisés sur le référentiel 12b de mouvements de référence.

Il existe de nombreuses méthodes pour réaliser des comparaisons entre valeurs. De façon préférée, l’étape de comparaison 700 peut s’appuyer sur les méthodes d’apprentissage supervisée ou non supervisée.

Dans la catégorie des apprentissages supervisés il est possible, sur la base de descripteurs de points caractéristiques associés à des actions labellisés, d’attribuer à tous les descripteurs de points caractéristiques une étiquette correspondant à une action donnée. Ainsi, si à l’avenir un motif similaire à de tels descripteurs de points caractéristiques est généré alors il sera considéré comme étant à probabilité de correspondre à une action donnée.

De façon préférée, l’étape de comparaison 700 peut comporter la mise en oeuvre d’un modèle issu d’un apprentissage supervisé comportant la mise en oeuvre d’un algorithme sélectionné parmi : Méthode des k plus proches voisins, forêt d'arbres décisionnels, ou Machine à vecteurs de support.

De façon préférée et comme cela a été évoqué précédemment, la comparaison est réalisée par l’intermédiaire d’un modèle issu d’un apprentissage. En particulier, la comparaison est réalisée par l’intermédiaire d’un modèle issu d’un « Neuronal Network Perceptron ».

L’étape de comparaison 700 peut être réalisée à partir de descripteurs de points caractéristiques provenant de plusieurs caméras pour un même instant. De préférence, les caméras sont alors synchronisées et/ou font appel à un référentiel temporel permettant que ne soient fusionnées que des données provenant d’un même instant. Par exemple, le procédé selon l’invention peut comporter l’acquisition de vidéo provenant de différentes caméras filmant la même scène. Plusieurs caméras peuvent alors générer des données différentes et ces données sont comparées chacune à des règles et un mouvement peut être caractérisé notamment via la génération d’une valeur d’indice de caractérisation d’un mouvement.

En effet, un procédé 1 de caractérisation d’un mouvement selon l’invention comporte une étape de génération 800 d’une valeur d’indice de caractérisation d’un mouvement d’une entité en mouvement 9. C’est en particulier le processeur 11 d’un dispositif informatique qui pourra être configuré pour réaliser une telle étape. En particulier, elle peut être réalisée à partir de données provenant de la comparaison 700 de la pluralité de descripteurs de points caractéristiques.

La valeur d’indice de caractérisation d’un mouvement peut être générée par le modèle éventuellement utilisé lors de l’étape précédente de comparaison. Alternativement, elle peut être générée sur la base d’un calcul de similarité entre des descripteurs de points caractéristiques calculés et des descripteurs de points caractéristiques de référence. Elle peut aussi être issue d’une étape de classement des descripteurs de points caractéristiques calculés.

En outre, la valeur d’indice de caractérisation d’un mouvement peut correspondre à une valeur d’indice d’arbitrage. Dans ce cas, la valeur d’indice d’arbitrage peut correspondre à une indication de respect d’une règle d’arbitrale. De même, la valeur d’indice de caractérisation d’un mouvement peut correspondre à une valeur d’indice de performance, où elle correspond à une indication de respect d’un mouvement prédéterminé.

La description ci-avant a été faite pour un procédé 1 de caractérisation d’un mouvement se basant sur un flux vidéo. Néanmoins, comme cela a déjà été mentionné, le procédé selon l’invention peut se baser sur plusieurs vidéos, de préférence en flux continu. Dans ce cas, de façon préférée, chacune des vidéos subit un traitement selon les étapes 300 à 800 puis suite à l’étape de génération 800 d’une valeur d’indice de caractérisation d’un mouvement d’une entité en mouvement 9pour chacune des vidéos, le procédé comporte une étape de sélection d’une valeur d’indice consolidée de caractérisation d’un mouvement d’une entité en mouvement 9 à partir des valeurs d’indice de caractérisation d’un mouvement d’une entité en mouvement 9 de chacune des vidéos.

Un procédé 1 de caractérisation d’un mouvement selon l’invention peut aussi comporter une étape de transmission 900 d’une alerte si la valeur d’indice de caractérisation d’un mouvement d’une entité en mouvement dépasse un seuil prédéterminé. Le seuil prédéterminé pourra par exemple avoir été mémorisé sur une mémoire de données 12. C’est en particulier un module de communication d’un dispositif 10 informatique qui pourra être configuré pour réaliser une telle étape.

Ainsi, selon un autre aspect, l’invention porte sur un système 2 de caractérisation d’un mouvement d’une entité en mouvement 9, par exemple pour de l’aide à l’arbitrage ou l’entrainement sportif. Un exemple d’un système 2 local de caractérisation d’un mouvement d’une entité en mouvement selon l’invention est présenté notamment en lien avec la figure 11 A.

Un tel système 2 comporte un ou plusieurs dispositifs d’acquisition d’images 20, généralement placés de manière à ce que le champ de vision du dispositif d’acquisition d’images 20 par rapport à l’entité en mouvement 9a, 9b soit dégagé.

Avantageusement, un système 2 conforme à l’invention peut comprendre une multitude de dispositifs d’acquisition d’images disposés autour d’une zone susceptible de contenir l’entité en mouvement 9a, 9b. Notamment, une telle zone peut s’apparenter à un terrain de sport au sein duquel évolue des athlètes.

Les dispositifs d’acquisition d’images sont préférentiellement synchronisés, ce qui permet d’obtenir une pluralité d’images provenant de divers dispositifs d’acquisition d’images à un instant donné d’une même entité en mouvement 9a ou 9b mais selon des vues différentes. Cela permet avantageusement une analyse plus précise du mouvement effectué par l’entité en mouvement 9a ou 9b.

Un système conforme à l’invention comprend également un dispositif informatique 10 incluant un processeur 11 adapté au traitement et à l’analyse d’images de haute résolution. Ledit processeur effectue diverses commandes ou opérations arithmétiques et implémente diverses fonctions en exécutant un système d'exploitation ou des instructions de programmes stockés dans une mémoire 12 de données. Avantageusement, un dispositif informatique 10 peut comprendre une unité de traitement graphique pour effectuer un traitement d'image.

En outre, la mémoire 12 de données est configurée pour stocker un référentiel 12a d’actions de référence. Un tel référentiel 12a peut comprendre une pluralité d’images de référence comprenant des descripteurs de points caractéristiques associés à des actions labellisés, chaque label correspondant à une action donnée. Une action peut notamment correspondre à une position spécifique d’une entité en mouvement dans un cadre donné, notamment un référentiel 12a d’actions de référence peut être associé à une discipline particulière. Ainsi, une telle discipline, telle qu’à titre d’exemple non limitatif l’escrime, le football ou encore l’équitation, peut comprendre une multitude d’images de référence comprenant des descripteurs de points caractéristiques associés à une entité en mouvement 9a, 9b pour chaque action déterminée. Avantageusement mais non limitativement, l’entité en mouvement peut correspondre à un escrimeur effectuant différentes actions, telles que par exemple une attaque simple de type coup droit, dégagement, coupé, ou encore d’une attaque composée de type une-deux, feinte du coup droit dégager, doublement, tour d’épée, ou bien d’une riposte de type simple ou composée.

Dans un mode de réalisation particulier, l’entité en mouvement peut correspondre à un footballer effectuant différentes actions, telles que par exemple un tacle, une passe, un tir, une touche, une action défensive ou offensive.

La mémoire de données peut en outre comprendre un référentiel 12b de mouvements de référence. Un tel référentiel 12b peut comprendre une pluralité d’images de référence comprenant des descripteurs de points caractéristiques associés à un mouvement effectué par une entité en mouvement.

Le dispositif d’acquisition d’image 20 est couplé au dispositif informatique 10 et lui transmet une pluralité d'images 401 qui seront traitées par le processeur 11. Le dispositif d’acquisition d’image 20 et le dispositif informatique 10 peuvent être couplés, c’est-à-dire communiquer selon tout dispositif de communication connu, sans fil, ou selon un bus de communication filaire adapté à la transmission d’un flux d’images important ou d’une vidéo à un dispositif informatique 10, de préférence selon un flux d’images continu.

Comme décrit précédemment, le processeur du dispositif informatique 10 est avantageusement configuré pour effectuer diverses commandes ou opérations arithmétiques, notamment le processeur 11 est configuré pour présélectionner, à partir de la pluralité d’images 401 reçues, une ou plusieurs images 431 .

Les images sont alors de préférence présélectionnées en fonction de leur contenu et en particulier, de l’évolution de l’entité en mouvement dans la pluralité d’images. Ainsi, les images présélectionnées, à identifier, doivent correspondre à une séquence d’images décrivant un mouvement donné de l’entité en mouvement. Une telle identification peut correspondre au calcul d’un marqueur d’action (i.e. de mouvement) d’une entité en mouvement 9 dans la pluralité d’images reçues et sa comparaison avec un marqueur d’action (i.e. de mouvement) prédéterminé (e.g. de référence). Cela permet de sélectionner uniquement une séquence d’images correspondant à un mouvement donné, ledit mouvement pouvant être relatif à une action spécifique.

Le processeur est avantageusement configuré pour générer, à partir des images présélectionnées, une pluralité de points caractéristiques 501 de l’entité en mouvement 9 caractérisée par des valeurs de position. Comme décrit précédemment, les points caractéristiques de l’entité en mouvement sont généralement des points correspondant à des positions d’importance dans la caractérisation d’une entité en mouvement et peuvent correspondre à des noeuds de jointure.

Ainsi, un système selon l’invention peut évaluer si le positionnement des points caractéristique peut être considéré comme fiable ou si les résultats ultérieurs obtenus doivent être modulés par une éventuelle incertitude sur le positionnement des points caractéristiques.

En outre, le processeur d’un dispositif informatique 10 est configuré pour calculer, à partir des valeurs de position des points caractéristiques 501 , une pluralité de descripteurs des points caractéristiques 501 pour plusieurs des images présélectionnées 431. Cela permet avantageusement de reconstituer le mouvement effectué par une entité en mouvement à partir de révolution de la valeur des descripteurs de points caractéristiques de chaque image à des instants différents.

Afin de déterminer le mouvement effectué par une entité en mouvement 9, le processeur est configuré pour comparer la pluralité de descripteurs de points caractéristiques calculés à des descripteurs de points caractéristiques de référence mémorisés sur le référentiel 12b de mouvements de référence. Une telle comparaison peut être réalisée par l’intermédiaire d’un modèle issu d’un apprentissage supervisé ou non supervisé.

Enfin, le processeur est également configuré pour générer, à partir de la comparaison de la pluralité de descripteurs de points caractéristiques, une valeur d’indice de caractérisation d’un mouvement de l’entité en mouvement 9a, 9b. Cette valeur permet de fournir une information relative à la réalisation du mouvement préalablement identifié. Une telle réalisation peut être estimée non conforme suite à la comparaison au référentiel 12b de mouvements de référence et ainsi fournir une aide à la décision notamment dans le cadre de l’arbitrage sportif en lien avec une sanction, ou encore dans le cadre du juge sportif en lien avec l’attribution d’une note suite à une performance réalisée par un athlète.

En outre, l’invention prévoit qu’un système 2 de caractérisation d’un mouvement d’une entité en mouvement selon l’invention puisse être accessible par l’intermédiaire d’un réseau de communication adapté, tel que notamment un réseau Internet. Un tel système 2 distant est présenté en lien avec la figure 11 B.

Un tel système 2 distant comporte un ou plusieurs dispositifs d’acquisition d’images 20 tel que décrit en lien avec la figure 11 A.

Un système 2 distant conforme à l’invention comprend également un dispositif informatique 10 incluant un processeur 11 adapté au traitement et à l’analyse d’images de haute résolution, une mémoire 12 de données, stockant un référentiel 12a d’actions de référence et un référentiel 12b de mouvements de référence tel que décrit précédemment en lien avec la figure 11 A.

Ledit système distant comporte en outre un module d’authentification 13 comportant un identifiant ainsi qu’une clef d’authentification, permettant audit dispositif informatique 10 de se connecter à un serveur informatique distant, par l’intermédiaire d’un réseau de communication, pour stocker ou exploiter des données, notamment une ou plusieurs images capturées par les dispositifs d’acquisition d’images 20.

Pour cela, le module d’authentification 13 peut, à partir d’un réseau de communication adapté, se connecter audit serveur informatique distant par l’intermédiaire d’un mécanisme d'authentification incluant, avantageusement mais non limitativement, l’identification d’une correspondance entre l’identifiant et la clef d’authentification d’un dispositif informatique 10 et des informations d'identification d'utilisateur et/ou de dispositifs informatique et de clefs d’authentification correspondantes stockées dans une base de données du serveur informatique distant. Une telle identification, peut, dans le cas de l’identification d’un utilisateur, se faire par l’intermédiaire d’une interface utilisateur adaptée, notamment sous la forme de pages Web auxquelles l’utilisateur peut accéder en utilisant un dispositif informatique connecté à un réseau de communication adapté et en utilisant un navigateur Web. De la même manière que pour l’identification d’un dispositif informatique 10, l’utilisateur s’identifie au travers de ladite page web en entrant dans des champs correspondants un identifiant et une clef d’authentification, tel qu’un mot de passe.

Le dispositif informatique 10, pourra ainsi soit accéder au serveur informatique distant pour traiter et analyser les images qui y sont stockées, soit les stocker directement après avoir effectué diverses commandes ou opérations arithmétiques telles que précédemment décrites.

Ainsi, un client utilisateur 5, notamment une tablette manipulée par un arbitre, pourra accéder en temps réel au serveur informatique distant par l’intermédiaire du dispositif informatique 10 ou bien de tout dispositif adapté comprenant une interface utilisateur et des ressources matérielles et logicielles permettant l’accès à un réseau de communication tel qu’internet, et consulter les données générées par la mise en oeuvre d’un procédé de caractérisation d’un mouvement d’une entité en mouvement selon l’invention.

Claims

Revendications

1 . Procédé (1) de caractérisation d’un mouvement d’une entité en mouvement (9), par exemple pour de l’aide à l’arbitrage ou l’entrainement sportif, ledit procédé étant mis en oeuvre par un système (2) comportant un dispositif informatique (10) incluant un processeur (11 ) et une mémoire (12) de données, ladite mémoire de données étant configurée pour stocker un référentiel (12a) d’actions de référence et un référentiel (12b) de mouvements de référence, ledit procédé comportant les étapes suivantes :

Réception (300), par le dispositif informatique (10), d’une vidéo, de préférence en flux continu ;

- Pré-sélection (400), par le processeur (11), d’une ou de plusieurs images (431 ) au sein d’une pluralité d’images (401) de la vidéo ;

- Génération (500), par le processeur (11 ), d’une pluralité de points caractéristiques (501) de l’entité en mouvement (9) sur la ou les images présélectionnées (431), lesdits points caractéristiques (501) étant caractérisés par des valeurs de position ;

- Calcul (600), par le processeur (11 ) et à partir des valeurs de position des points caractéristiques (501), d’une pluralité de descripteurs des points caractéristiques (501) pour plusieurs des images présélectionnées (431) ;

- Comparaison (700), par le processeur (11), de la pluralité de descripteurs de points caractéristiques calculés à des descripteurs de points caractéristiques de référence mémorisés sur le référentiel (12b) de mouvements de référence, ladite comparaison pouvant être réalisée par l’intermédiaire d’un modèle issu d’un apprentissage ; et

- Génération (800), par le processeur (11 ) et à partir de la comparaison (700) de la pluralité de descripteurs de points caractéristiques, d’une valeur d’indice de caractérisation d’un mouvement de l’entité en mouvement (9).

2. Procédé (1) de caractérisation d’un mouvement selon la revendication 1 , caractérisé en ce que l’étape de calcul (600) d’une pluralité de descripteurs des points caractéristiques comporte un calcul (620) d’une valeur de relation géométrique entre des points caractéristiques (501) et en ce qu’une partie au moins desdits descripteurs des points caractéristiques (501) correspond à ladite valeur de relation géométrique calculée entre des points caractéristiques.

3. Procédé (1) de caractérisation d’un mouvement selon la revendication 2, caractérisé en ce que l’étape de calcul (600) comporte un calcul (620) de valeurs de relation géométrique entre des points caractéristiques (501) et un calcul (630) d’une valeur d’évolution des valeurs de relation géométrique des points caractéristiques (501) entre deux images présélectionnées (431) et en ce qu’une partie au moins desdits descripteurs des points caractéristiques (501) correspond à ladite valeur d’évolution des valeurs de relation géométrique des points caractéristiques entre deux images présélectionnées.

4. Procédé (1) de caractérisation d’un mouvement selon l’une quelconque des revendications précédentes caractérisé en ce que la présélection (400) comportant les sous-étapes suivantes :

- Génération (410) d’au moins une forme englobante (411 , 411 a, 411 b) sur une pluralité d’images, chacune des formes englobantes correspondant à une même entité en mouvement (9) et étant caractérisée par des valeurs de dimensions ;

- Comparaison (420) des valeurs de dimensions de formes englobantes générées pour deux images différentes de façon à identifier des marqueurs d’action entre formes englobantes, lesdits marqueurs d’action correspondant à des modifications des valeurs de dimensions des formes englobantes entre images ;

- Comparaison (430) des marqueurs d’action identifiés à des marqueurs d’action de référence mémorisés sur le référentiel (12a) d’actions, ladite comparaison pouvant être réalisée par l’intermédiaire d’un modèle issu d’un apprentissage, ladite comparaison permettant de présélectionner, au sein de la pluralité d’images (401), une ou plusieurs images (431).

5. Procédé (1) de caractérisation d’un mouvement selon l’une quelconque des revendications précédentes, caractérisé en ce que l’étape de comparaison (700) peut être réalisée à partir de descripteurs de points caractéristiques provenant de plusieurs caméras pour un même instant.

6. Procédé (1) de caractérisation d’un mouvement selon l’une quelconque des revendications précédentes, caractérisé en ce qu’il comporte l’attribution d’un identifiant unique à chaque point caractéristique par image et que chaque point caractéristique est associé à une position.

7. Procédé (1) de caractérisation d’un mouvement selon la revendication 6, caractérisé en ce que la position de chaque point caractéristique est associée à un score de confiance.

8. Procédé (1) de caractérisation d’un mouvement selon l’une quelconque des revendications précédentes, caractérisé en ce qu’il comporte en outre une étape de classification (440) de la ou des images présélectionnées, ladite classification correspondant à l’attribution d’une catégorie de mouvement à la ou aux images présélectionnées.

9. Procédé (1) de caractérisation d’un mouvement selon l’une quelconque des revendications précédentes, caractérisé en ce qu’au moins une partie des points caractéristiques (501) de l’entité en mouvement (9) sont des nœuds de jointures.

10. Procédé (1) de caractérisation d’un mouvement selon l’une quelconque des revendications précédentes, caractérisé en ce qu’il comporte en outre une procédure de calibration (100) des modèles et/ou référentiels utilisés dans le cadre du procédé.

11. Procédé (1) de caractérisation d’un mouvement selon l’une quelconque des revendications précédentes, caractérisé en ce qu’il comporte en outre une étape de reconnaissance faciale.

12. Procédé (1) de caractérisation d’un mouvement selon l’une quelconque des revendications précédentes, caractérisé en ce qu’il comporte une étape (900) de transmission d’une alerte si la valeur d’indice de caractérisation d’un mouvement d’une entité en mouvement dépasse un seuil prédéterminé.

13. Procédé (1) de caractérisation d’un mouvement selon l’une quelconque des revendications précédentes, caractérisé en ce que l’étape de réception (300) comporte la réception d’au moins deux vidéos, de préférence d’au moins trois vidéos, en flux continu, en ce qu’une valeur d’indice de caractérisation d’un mouvement de l’entité en mouvement (9) est généré pour chacune des vidéos et en ce qu’une valeur d’indice consolidé de caractérisation d’un mouvement de l’entité en mouvement (9) est généré à partir de de chacune des valeurs d’indice de caractérisation d’un mouvement de l’entité en mouvement (9).

14. Système (2) de caractérisation d’un mouvement d’une entité en mouvement (9), par exemple pour de l’aide à l’arbitrage ou l’entrainement sportif, ledit système comportant : - un ou plusieurs dispositifs d’acquisition d’images (20), apte à transmettre une vidéo à un dispositif informatique (10), de préférence en flux continu ;

- le dispositif informatique (10) incluant un processeur (11 ) et une mémoire (12) de données, ladite mémoire de données étant configurée pour stocker un référentiel (12a) d’actions de référence et un référentiel (12b) de mouvement de référence, ledit processeur étant configuré pour : o pré-sélectionner une ou plusieurs images (431) au sein d’une pluralité d’images (401) de la vidéo ; o Générer une pluralité de points caractéristiques (501 ) de l’entité en mouvement (9) sur la ou les images présélectionnées (431), lesdits points caractéristiques (501) étant caractérisés par des valeurs de position ; o Calculer, à partir des valeurs de position des points caractéristiques, une pluralité de descripteurs des points caractéristiques (501) pour plusieurs des images présélectionnées (431) ; o Comparer la pluralité de descripteurs de points caractéristiques calculés à des descripteurs de points caractéristiques de référence mémorisés sur le référentiel (12b) de mouvements de référence, ladite comparaison pouvant être réalisée par l’intermédiaire d’un modèle issu d’un apprentissage ; et o Générer, à partir de la comparaison de la pluralité de descripteurs de points caractéristiques, une valeur d’indice de caractérisation d’un mouvement de l’entité en mouvement (9).

15. Produit programme d’ordinateur comportant une ou plusieurs instructions exécutables par un dispositif informatique (10), provoquant la mise en oeuvre d’un procédé de caractérisation d’un mouvement d’une entité en mouvement selon l’une quelconque des revendications 1 à 13.