WO2018011497A1 - On-board system and method for capture and 3d/360° reproduction of the movement of an operator in the environment of same - Google Patents

On-board system and method for capture and 3d/360° reproduction of the movement of an operator in the environment of same Download PDF

Info

Publication number
WO2018011497A1
WO2018011497A1 PCT/FR2017/051877 FR2017051877W WO2018011497A1 WO 2018011497 A1 WO2018011497 A1 WO 2018011497A1 FR 2017051877 W FR2017051877 W FR 2017051877W WO 2018011497 A1 WO2018011497 A1 WO 2018011497A1
Authority
WO
WIPO (PCT)
Prior art keywords
environment
operator
central module
interaction
module
Prior art date
Application number
PCT/FR2017/051877
Other languages
French (fr)
Inventor
Cyril Condemine
Paul GREVE
Jean-Philippe Gros
Sylvie NAUDET-COLLETTE
Frédéric Serre
Vincent WEISTROFFER
Julien MOTTIN
Original Assignee
Commissariat A L'energie Atomique Et Aux Energies Alternatives
Motion Recall
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Commissariat A L'energie Atomique Et Aux Energies Alternatives, Motion Recall filed Critical Commissariat A L'energie Atomique Et Aux Energies Alternatives
Publication of WO2018011497A1 publication Critical patent/WO2018011497A1/en

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training

Definitions

  • the field of the invention is that of capturing and reproducing the movement of an operator traveling in his environment.
  • the invention more particularly relates to a system and a method of digitizing the body of the moving operator and its environment to enable a 360 ° and 3D visualization, in virtual reality, of this movement, synchronized in its environment.
  • Virtual reality headsets today allow a total immersion in a world different from the real world. Virtual reality allows an intense immersion experience and a 360 ° vision, spherical and stereoscopic.
  • the content can be interactive, multiplayer and allow multiple point of view of a scene.
  • the content for virtual reality headphones is mainly 3D immersive films made by movie studios or studios specializing in virtual reality, or immersive video games that, unlike a movie where the content and the point of view are fixed, allow a total interactivity for several players and with very different points of view.
  • the user is not associated with the production of the content.
  • the invention aims to converge the two approaches mentioned above, and more particularly to provide a solution for, using a system embedded in a person, to acquire an action (environment and movements of the person ) in 360 ° and in 3D, and allow to relive this action in virtual reality.
  • the invention proposes a system for capturing and reproducing the movement of an operator in his environment which comprises a central module, distributed modules and a computer processing unit. It also extends to the method implemented by such a system.
  • the central module can be fixed, in use, on the operator. It includes a spherical camera to acquire a succession of 360 ° shots of the environment, a depth sensor to scan the environment close to the central module in 3D, and a storage memory of shots to 360 ° of the environment, and scan data from the environment close to the central module in 3D.
  • the distributed modules are fixed, in use, in different locations on the operator. They comprise motion sensors and means of communication with the central module to transmit to it data representative of the movement of the operator and allow their storage in the memory of the central module.
  • the computer processing unit is configured to synchronize the data stored in the memory of the central module in space and time, and to merge the synchronized data to generate a digital representation including, in the sequence of 360 shots. ° of the environment, a reproduction of the animated operator in order to reproduce the movements of the operator during its displacement in the environment and a 3D modeling of the environment close to the central module during the displacement of the operator in the environment.
  • this system further comprises a visualization software module configured to allow the visualization by a user, with interaction in virtual reality, the digital representation;
  • the visualization software module is configured to allow the visualization of the digital representation by a plurality of users, each with its own interaction in virtual reality;
  • the virtual reality interaction includes interaction with the user's point of view
  • the virtual reality interaction comprises an interaction with an object modeled in 3D in the digital representation
  • the virtual reality interaction of a user can be controlled via at least one of the distributed modules.
  • FIG. 1 is a diagram of a central module of a system according to a possible embodiment of the invention.
  • FIG. 2 is a diagram of a distributed module of a system according to a possible embodiment of the invention.
  • FIG. 3 illustrates the main steps of an acquisition phase of an action according to an embodiment of the invention
  • FIG. 4 is a diagram representing software modules implemented in the context of the invention.
  • FIG. 5 illustrates the main steps of generating and displaying a 360 ° digital representation according to an exemplary embodiment of the invention. DETAILED PRESENTATION OF PARTICULAR EMBODIMENTS
  • the invention relates to a system for capturing and reproducing the movement of an operator traveling in his environment, inside or outside.
  • This system allows you to create operator-centered content by filming the environment in 360 ° and 3D, as well as recording the movement of the operator.
  • the invention can be described as the virtual reality camcorder for filming, reliving and sharing activities in virtual reality. It finds application in the production of sports and leisure films, the realization of virtual demonstration rooms, the recording and the analysis of gestures for the training, the learning and the follow-up of professional gestures, the conservation of the know-how, gestures and cultural heritage, controlled medical reeducation, etc.
  • the system according to the invention consists of a central module, distributed modules, and a software suite for data fusion and virtual reality world generation.
  • the central module and the distributed modules thus have the essential functions of recording the environment of the operator in the form of spherical video film (360 °), of capturing the relief of the objects in the field close to the operator, and of capture the movements performed by the operator, all during a data acquisition phase corresponding to the achievement of an action of the operator in his environment.
  • the software suite makes it possible to merge the data set collected by the central module and the distributed modules during the acquisition phase in order to generate a digital representation that merges the film into a spherical, the 3D modeled world, and the operator. (in the form of an avatar) and these movements, the whole being synchronized in space and time.
  • a virtual reality helmet can visualize this 360 ° digital representation and thus relive the action of the operator.
  • the digital representation can be seen as a 360 ° film of the environment in which one finds 3D objects, to have the digital reproduction of the operator in the form of an avatar and the 3D reproduction of the environment close to the operator throughout his move during the action. Taking the example of a ski-run type action, the digital representation corresponds to the 360 ° film in which are embedded the avatar reproducing the movements of the skier, and the 3D reproduction of the environment around the trajectory of the skier. skier on the descent.
  • the central module and the distributed modules make it possible to measure a multitude of quantities of different nature whose simultaneous knowledge allows access to high level information on the environment and the movement of the operator.
  • This solution also makes it possible to compensate for the imperfections of a sensor in a range by the data of another sensor: for example the drift of a MEMS inertial unit can be corrected by video calibrations and measurements of distances or depths. .
  • FIG. 1 shows a diagram of a central module 10 of a system according to a possible embodiment of the invention.
  • This central module is during the acquisition phase a repository of the system. It can then be fixed on the body of the operator, for example on his head.
  • the central module may not be on board the operator but be removed from it and positioned in the environment. For example, it can be installed on a tennis net post to allow to digitize a game of tennis.
  • the central module 10 comprises a set of sensors 11-14, a memory 15, a computer 16, a battery 17, and a communication interface 18.
  • the set of sensors comprises in particular a spherical camera 11 making it possible to acquire a succession of 360 ° shots of the environment, and a depth sensor 12 for scanning in 3D the environment close to the central module (ie close to the operator when the latter equipped with the central module).
  • the spherical camera 11 may be composed of at least two monocular cameras each equipped with a wide angle optics.
  • the depth sensor 12 makes it possible to digitize the environment close to the central module typically over a distance of 10 meters, both indoors and outdoors, in order to allow its modeling in 3D.
  • This is for example a stereoscopic camera, a RGB-D sensor, a time of flight sensor, a lidar, etc.
  • the central module 10 may also include a motion sensor 13, for example an inertial unit, for detecting the movement of the central module relative to the environment.
  • a motion sensor 13 for example an inertial unit, for detecting the movement of the central module relative to the environment.
  • the central module 10 may also comprise a GPS 14, which makes it possible in particular to georeference the 360 ° digital representations generated by the system according to the invention.
  • the GPS 14 may further provide location assistance to the operator of the system according to the invention.
  • the memory 15 serves to store the data of the sensors 11-14, in particular for the 360 ° video stream of the environment delivered by the spherical camera 11, and the scanning data of the environment near the central module in 3D delivered by the depth sensor 12.
  • the memory 15 is preferably removable. It is advantageously constituted by one or more interchangeable memory cards.
  • the battery 17 is also preferably removable and interchangeable.
  • the communication interface 18 may comprise means of communication with the distributed modules, such as wireless communication means, for example according to the Bluetooth ® Low Energy protocol.
  • the central module 10 can then recover the data generated by the distributed modules and store them in its memory 15.
  • the communication interface 18 may also comprise means of communication with an external device, such as a smartphone or a tablet, in particular wireless communication means, for example according to the WiFi protocol.
  • the external device can be used for calibration and management of the central module, as well as to control the phases of acquisition of an action and visualization of its digital representation.
  • the communication interface 18 may furthermore comprise means making it possible to establish a wired link, for example a USB link, with a computer, in particular in order to transmit, at the end of an acquisition phase, the data generated by the central module and the distributed modules.
  • a wired link for example a USB link
  • FIG. 2 shows a diagram of a distributed module 20 of a system according to a possible embodiment of the invention.
  • This distributed module 20 is fixed on the body of the operator during the acquisition phase.
  • the system according to the invention exploits a plurality of distributed modules, fixed in use in different locations on the operator.
  • This system includes, for example, four distributed modules: a module distributed on each hand and a module distributed on each foot.
  • Distributed modules are for example clipped on elastic wristbands.
  • Each distributed module 20 comprises sensors 21-23 for reconstructing the movement relative to the central module, for example an inertial unit 21, in particular a 9-axis inertial unit (accelerometers, magnetometers, gyrometers), associated with a depth sensor or 22. It may also include a camera 23, for example low cost and low rate webcamera type, to assist in the reconstruction of the movement of the operator.
  • an inertial unit 21 in particular a 9-axis inertial unit (accelerometers, magnetometers, gyrometers), associated with a depth sensor or 22.
  • a camera 23 for example low cost and low rate webcamera type, to assist in the reconstruction of the movement of the operator.
  • Each distributed module 20 furthermore comprises a computer 24, a battery 25 and a communication interface 26 with the central module 10, for example via a wireless link, for example according to the Bluetooth ® Low Energy or UWB (Ultra Wide Band) protocol.
  • This interface 26 makes it possible to transmit, in particular in real time, to the central module data representing the movement of the operator from the sensors 21, 22, 23 for storage in the memory 15 of the central module 10.
  • the data representative of the movement, the 360 ° video stream frames and depth maps are time stamped.
  • the frames of the 360 ° video stream and the depth maps are notably synchronized.
  • Each distributed module 20 may also comprise a remote power supply system 27, for example by induction. It may also have a system communication device 26, for example of the RF or RFID type, for exchanging calibration or programming data.
  • the central module 10 and the distributed modules 20 thus make it possible, during an acquisition phase of an operator action, to digitize and record the movement and the environment of the operator.
  • the invention is not confined to distributed modules fixed on the sole operator, but also extends to the use of distributed modules installed on several operators (for example to follow the movements of two players of a tennis game ) or distributed modules installed on one or more objects used during the action (for example on a balloon or on a bicycle of free figures).
  • the acquisition phase can follow the process illustrated in FIG. 3.
  • the central module 20 is turned on, for example via a command from the operator's smartphone.
  • a calibration and initialization of the system is performed by the operator, for example with specific gestures and postures in order to recognize the position and the identification of the distributed modules used.
  • the operator can proceed to the creation of his avatar, for example by means of the camera embedded in the central module. Alternatively, the operator can use a pre-recorded avatar.
  • Step A4 corresponds to starting the recording, and step A6 to stopping the recording.
  • the start and stop are performed using the smartphone of the operator. Alternatively, they can be controlled by a gestural command (use of a particular gesture such as a snap of hand for example) or a sound command (use of a particular phrase for example).
  • Step A5 corresponds to the recording of the action, and the storage over time of the various data from the sensors of the central module 10 and distributed modules 20 in the memory 15 of the central module.
  • step B 1 the operator can connect (step B 1) the central module 10 to a computer in order to transmit to it the data recorded during the acquisition phase (video stream, depth maps, GPS position, quaternions calculated by inertial units, etc.). Then during a step B2, the computer comes to generate the digital representation of the action through data fusion algorithms.
  • the system according to the invention thus comprises a computer processing unit configured to generate the digital representation by exploiting all the data stored in the memory between a start time and an end of acquisition time.
  • the computer processing unit is more particularly configured to synchronize said data in space and time and merge them to generate a digital representation.
  • This digital representation includes, in the succession of 360 ° shots of the environment acquired during the movement of the operator in the environment, a reproduction of the animated operator so as to reproduce the movements of the operator during of its displacement in the environment during the acquisition phase and a 3D modeling of the environment close to the central module during the displacement of the operator in the environment during the acquisition phase (ie close of the operator when it is equipped with the central module).
  • FIG. 4 shows a diagram of a software suite 30 composed of several software modules 31-34 that can be used in the context of the invention.
  • a module 31 for retrieving and synchronizing the data recorded during the acquisition phase of an action an avatar control module 32, a module 33 for generating the digital representation of the action, and a display module 34.
  • the avatar control module 32 provides two functions:
  • the module 33 for generating the digital representation makes it possible to reconstruct the entire digitized scene by the central module and the distributed modules. This generation of the digital representation is done either by a calculation on a local machine (desktop PC or home console) if it is powerful enough, or by remote calculation on machines accessible remotely.
  • the visualization module 34 is dedicated to the visualization in virtual reality of the digital representations corresponding to the actions digitized by the operator himself or to those carried out by another user having made available to him the digital representations of his own actions. This visualization module also allows the operator to interact with the content of a digital representation, but also to share the content of the digital representation with several other users simultaneously.
  • Additional modules can be used, such as an operator management module.
  • This software module allows the operator to share the digital representations he has created.
  • this module makes it possible to manage an operator account, giving access to a storage and data sharing space, for, for example, administering one or more avatar (s), the generated digital representations, a space for calculating these representations. digital, etc.
  • the display module allows a user (step B3) to view a digital representation of an action generated by the module 33, for example by means of a virtual reality headset.
  • This visualization can be performed simultaneously by several users (step B3 '), the helmets being synchronized for that purpose.
  • the visualization module also allows the user to interact with the content of a digital representation, this interaction being represented by a step B4 in FIG. 5, in particular, without this being limiting (the user being able to interact with one another). with the content using one or more conventional interaction tools), the central module and the distributed modules can be advantageously also used during visualization in virtual reality to enjoy the entire interactive experience with the content.
  • the user (s) can thus carry a distributed module, the central module acquiring in real time the movements and the position of the user (s) during the visualization and the interaction with the scene. In this way the user can interact with the environment and the objects contained in the scene, with an intuitive and easy-to-use interface.
  • the interaction with the virtual world can include interaction with the user's point of view, by modifying the characteristics (position, orientation, scale factor) of the virtual camera which allows to see what is happening in the virtual world. virtual world.
  • Each user can thus choose and modify his point of view during the visualization of the scene. It is possible to choose the point of view filmed by the spherical camera, but also any other point of view of the scene: on the side, above, below, a few meters behind the operator, etc.
  • the interaction with the virtual world may also include an interaction with a 3D modeled object in the digital representation.
  • the invention also makes it possible to interact, modify and simulate the effect of the modifications in this representation.
  • Each close element, as well as the operator and the objects he uses are indeed modeled in 3D in the digital representation.
  • the visualization module makes it possible to select and modify these objects modeled in 3D in the digital representation. Taking the example of a ski jumping type action, the invention makes it possible to select the skis and then to modify their positions. It is also possible to delete elements from the numeric representation, or to add some to modify this representation. As represented by the step B5 in FIG.
  • the invention can in this context operate a physical simulator to take into account the constraints of the human body and physics related to the environment.
  • the distributed modules may each comprise an inertial unit and means for calculating a relative distance with the central module.
  • the computer processing unit can also be deported from the central module.
  • the invention is not limited to the system as previously described, and also extends to the method consisting of the various steps implemented by such a system, and in particular to a method of capturing and reproducing the movement of a operator traveling in his environment, comprising:
  • a central module of a succession of 360 ° shots of the environment and depth maps of the environment close to the central module, the module being able to be fixed on the operator during acquisition and storage,

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Processing Or Creating Images (AREA)

Abstract

The invention relates to a system for capturing and reproducing the movement of an operator in the environment of same. This system comprises: - a central module (10) equipped with a 360° camera, a depth sensor and a memory, - distributed modules (20) attached, in use, at different locations on the operator, which comprise movement sensors and communication means for communicating with the central module, - a computer processing unit configured to synchronise the data generated by the central module and the modules distributed in space and time, and for merging the synchronised data in order to generate a digital representation including, in a succession of 360° views of the environment, a reproduction of the operator animated in such a way as to reproduce the movements of the operator when moving in the environment and a 3D modelling of the environment close to the central module when the operator moves in the environment.

Description

SYSTÈME ET PROCÉDÉ DE CAPTURE EMBARQUÉE ET DE REPRODUCTION 3D/3600 DU MOUVEMENT D'UN OPÉRATEUR DANS SON ENVIRONNEMENT SYSTEM AND METHOD FOR ONBOARD CAPTURE AND 3D / 360 0 REPRODUCTION OF MOVEMENT OF AN OPERATOR IN ITS ENVIRONMENT
DESCRIPTION DESCRIPTION
DOMAINE TECHNIQUE TECHNICAL AREA
Le domaine de l'invention est celui de la capture et de la reproduction du mouvement d'un opérateur en déplacement dans son environnement. L'invention concerne plus particulièrement un système et un procédé de numérisation du corps de l'opérateur en mouvement et de son environnement pour permettre une visualisation à 360° et en 3D, en réalité virtuelle, de ce mouvement, synchronisé dans son environnement. ÉTAT DE LA TECHNIQUE ANTÉRIEURE The field of the invention is that of capturing and reproducing the movement of an operator traveling in his environment. The invention more particularly relates to a system and a method of digitizing the body of the moving operator and its environment to enable a 360 ° and 3D visualization, in virtual reality, of this movement, synchronized in its environment. STATE OF THE PRIOR ART
Les casques de réalité virtuelle permettent aujourd'hui une immersion totale dans un monde différent du monde réel. La réalité virtuelle permet une expérience d'immersion intense et une vision à 360°, sphérique et stéréoscopique. Le contenu peut être interactif, multi joueur et permettre de multiples point de vue d'une scène. Virtual reality headsets today allow a total immersion in a world different from the real world. Virtual reality allows an intense immersion experience and a 360 ° vision, spherical and stereoscopic. The content can be interactive, multiplayer and allow multiple point of view of a scene.
Aujourd'hui les contenus pour les casques de réalité virtuelle sont principalement des films immersifs en 3D réalisés par des studios de cinéma ou des studios spécialisés dans la réalité virtuelle, ou des jeux vidéo immersifs qui, à l'inverse d'un film où le contenu et le point de vue sont figés, permettent une interactivité totale pour plusieurs joueurs et avec des points de vue très différents. Toutefois, dans tous ces cas de figure, l'utilisateur n'est pas associé à la production du contenu.  Today the content for virtual reality headphones is mainly 3D immersive films made by movie studios or studios specializing in virtual reality, or immersive video games that, unlike a movie where the content and the point of view are fixed, allow a total interactivity for several players and with very different points of view. However, in all these cases, the user is not associated with the production of the content.
Une solution pour qu'un utilisateur puisse générer du contenu pour la réalité virtuelle est l'utilisation de caméras sphériques qui offrent la possibilité à un utilisateur de générer un film 360°. Il devient alors possible de s'immerger dans ce film grâce à un casque de réalité virtuelle ou de le visualiser sur PC, tablette ou smartphone grâce à des lecteurs dédiés. EXPOSÉ DE L'INVENTION One solution for a user to generate content for virtual reality is the use of spherical cameras that provide the opportunity for a user to generate a 360 ° movie. It becomes possible to immerse yourself in this film thanks to a virtual reality headset or to visualize it on a PC, tablet or smartphone thanks to dedicated readers. STATEMENT OF THE INVENTION
L'invention vise à faire converger les deux approches mentionnées ci- dessus, et a plus particulièrement pour objectif de proposer une solution pour, à l'aide d'un système embarqué sur une personne, acquérir une action (environnement et mouvements de la personne) à 360° et en 3D, et permette de revivre cette action en réalité virtuelle. The invention aims to converge the two approaches mentioned above, and more particularly to provide a solution for, using a system embedded in a person, to acquire an action (environment and movements of the person ) in 360 ° and in 3D, and allow to relive this action in virtual reality.
A cet effet, l'invention propose un système de capture et de reproduction du mouvement d'un opérateur dans son environnement qui comporte un module central, des modules distribués et une unité de traitement informatique. Elle s'étend également au procédé mis en œuvre par un tel système.  For this purpose, the invention proposes a system for capturing and reproducing the movement of an operator in his environment which comprises a central module, distributed modules and a computer processing unit. It also extends to the method implemented by such a system.
Le module central peut être fixé, en utilisation, sur l'opérateur. Il comporte une caméra sphérique permettant d'acquérir une succession de prises de vue à 360° de l'environnement, un capteur de profondeur permettant de numériser l'environnement proche du module central en 3D, et une mémoire de stockage des prises de vue à 360° de l'environnement, et de données de numérisation de l'environnement proche du module central en 3D.  The central module can be fixed, in use, on the operator. It includes a spherical camera to acquire a succession of 360 ° shots of the environment, a depth sensor to scan the environment close to the central module in 3D, and a storage memory of shots to 360 ° of the environment, and scan data from the environment close to the central module in 3D.
Les modules distribués sont fixés, en utilisation, en différentes localisations sur l'opérateur. Ils comportent des capteurs de mouvement et des moyens de communication avec le module central pour lui transmettre des données représentatives du mouvement de l'opérateur et permettre leur stockage dans la mémoire du module central.  The distributed modules are fixed, in use, in different locations on the operator. They comprise motion sensors and means of communication with the central module to transmit to it data representative of the movement of the operator and allow their storage in the memory of the central module.
L'unité de traitement informatique est configurée pour synchroniser les données stockées dans la mémoire du module central dans l'espace et le temps, et pour fusionner les données synchronisées afin de générer une représentation numérique incluant, dans la succession de prises de vue à 360° de l'environnement, une reproduction de l'opérateur animée de manière à reproduire les mouvements de l'opérateur lors de son déplacement dans l'environnement et une modélisation en 3D de l'environnement proche du module central lors du déplacement de l'opérateur dans l'environnement.  The computer processing unit is configured to synchronize the data stored in the memory of the central module in space and time, and to merge the synchronized data to generate a digital representation including, in the sequence of 360 shots. ° of the environment, a reproduction of the animated operator in order to reproduce the movements of the operator during its displacement in the environment and a 3D modeling of the environment close to the central module during the displacement of the operator in the environment.
Certains aspects préférés mais non limitatifs de ce système sont les suivants : il comporte en outre un module logiciel de visualisation configuré pour permettre la visualisation par un utilisateur, avec interaction en réalité virtuelle, de la représentation numérique ; Some preferred but non-limiting aspects of this system are the following: it further comprises a visualization software module configured to allow the visualization by a user, with interaction in virtual reality, the digital representation;
le module logiciel de visualisation est configuré pour permettre la visualisation de la représentation numérique par une pluralité d'utilisateurs, chacun avec sa propre interaction en réalité virtuelle ;  the visualization software module is configured to allow the visualization of the digital representation by a plurality of users, each with its own interaction in virtual reality;
l'interaction en réalité virtuelle comprend une interaction avec le point de vue de l'utilisateur ;  the virtual reality interaction includes interaction with the user's point of view;
l'interaction en réalité virtuelle comprend une interaction avec un objet modélisé en 3D dans la représentation numérique ;  the virtual reality interaction comprises an interaction with an object modeled in 3D in the digital representation;
l'interaction en réalité virtuelle d'un utilisateur peut être commandée par l'intermédiaire d'au moins un des modules distribués.  the virtual reality interaction of a user can be controlled via at least one of the distributed modules.
BRÈVE DESCRIPTION DES DESSINS BRIEF DESCRIPTION OF THE DRAWINGS
D'autres aspects, buts, avantages et caractéristiques de l'invention apparaîtront mieux à la lecture de la description détaillée suivante de formes de réalisation préférées de celle-ci, donnée à titre d'exemple non limitatif, et faite en référence aux dessins annexés sur lesquels : Other aspects, objects, advantages and characteristics of the invention will appear better on reading the following detailed description of preferred embodiments thereof, given by way of non-limiting example, and with reference to the accompanying drawings. on which ones :
- la figure 1 est un schéma d'un module central d'un système selon un mode de réalisation possible de l'invention ;  FIG. 1 is a diagram of a central module of a system according to a possible embodiment of the invention;
- la figure 2 est un schéma d'un module distribué d'un système selon un mode de réalisation possible de l'invention ;  FIG. 2 is a diagram of a distributed module of a system according to a possible embodiment of the invention;
- la figure 3 illustre les principales étapes d'une phase d'acquisition d'une action selon un exemple de réalisation de l'invention ;  FIG. 3 illustrates the main steps of an acquisition phase of an action according to an embodiment of the invention;
- la figure 4 est un schéma représentant des modules logiciels mis en œuvre dans le cadre de l'invention ;  FIG. 4 is a diagram representing software modules implemented in the context of the invention;
- la figure 5 illustre les principales étapes de génération et de visualisation d'une représentation numérique 360° selon un exemple de réalisation de l'invention. EXPOSÉ DÉTAILLÉ DE MODES DE RÉALISATION PARTICULIERS FIG. 5 illustrates the main steps of generating and displaying a 360 ° digital representation according to an exemplary embodiment of the invention. DETAILED PRESENTATION OF PARTICULAR EMBODIMENTS
L'invention porte sur un système de capture et de reproduction du mouvement d'un opérateur en déplacement dans son environnement, intérieur ou extérieur. Ce système permet de créer du contenu centré sur l'opérateur en filmant l'environnement en 360° et en 3D, ainsi qu'en enregistrant le mouvement de l'opérateur. The invention relates to a system for capturing and reproducing the movement of an operator traveling in his environment, inside or outside. This system allows you to create operator-centered content by filming the environment in 360 ° and 3D, as well as recording the movement of the operator.
L'invention peut se décrire comme le caméscope de la réalité virtuelle, permettant de filmer, de revivre et de partager des activités en réalité virtuelle. Elle trouve application à la réalisation de films de sports et loisirs, à la réalisation de salles de démonstration virtuelle, à l'enregistrement et l'analyse de gestes pour la formation, l'apprentissage et le suivi de gestes professionnels, à la conservation du savoir-faire, des gestes et du patrimoine culturel, à la rééducation médicale contrôlée, etc.  The invention can be described as the virtual reality camcorder for filming, reliving and sharing activities in virtual reality. It finds application in the production of sports and leisure films, the realization of virtual demonstration rooms, the recording and the analysis of gestures for the training, the learning and the follow-up of professional gestures, the conservation of the know-how, gestures and cultural heritage, controlled medical reeducation, etc.
Le système selon l'invention se compose d'un module central, de modules distribués, et d'une suite logicielle de fusion de données et de génération de monde en réalité virtuelle.  The system according to the invention consists of a central module, distributed modules, and a software suite for data fusion and virtual reality world generation.
Le module central et les modules distribués ont ainsi pour fonctions essentielles d'enregistrer l'environnement de l'opérateur sous forme de film vidéo sphérique (360°), de capturer le relief des objets dans le champ proche de l'opérateur, et de capturer les mouvements effectués par l'opérateur, le tout lors d'une phase d'acquisition de données correspondant à la réalisation d'une action de l'opérateur dans son environnement.  The central module and the distributed modules thus have the essential functions of recording the environment of the operator in the form of spherical video film (360 °), of capturing the relief of the objects in the field close to the operator, and of capture the movements performed by the operator, all during a data acquisition phase corresponding to the achievement of an action of the operator in his environment.
La suite logicielle permet de fusionner l'ensemble de données récoltées par le module central et les modules distribués lors de la phase d'acquisition afin de générer une représentation numérique qui fusionne le film en sphérique, le monde modélisé en 3D, et l'opérateur (sous la forme d'un avatar) et ces mouvements, l'ensemble étant synchronisé dans l'espace et le temps. Un casque de réalité virtuelle permet de visualiser cette représentation numérique 360° et donc de revivre l'action de l'opérateur. La représentation numérique peut être vue comme un film 360° de l'environnement dans lequel on retrouve des objets 3D, à avoir la reproduction numérique de l'opérateur sous la forme d'un avatar et la reproduction 3D de l'environnement proche de l'opérateur tout au long de son déplacement au cours de l'action. Prenant l'exemple d'une action de type descente de piste de ski, la représentation numérique correspond au film 360° dans lequel sont incrustés l'avatar reproduisant les mouvements du skieur, et la reproduction 3D de l'environnement autour de la trajectoire du skieur lors de la descente. The software suite makes it possible to merge the data set collected by the central module and the distributed modules during the acquisition phase in order to generate a digital representation that merges the film into a spherical, the 3D modeled world, and the operator. (in the form of an avatar) and these movements, the whole being synchronized in space and time. A virtual reality helmet can visualize this 360 ° digital representation and thus relive the action of the operator. The digital representation can be seen as a 360 ° film of the environment in which one finds 3D objects, to have the digital reproduction of the operator in the form of an avatar and the 3D reproduction of the environment close to the operator throughout his move during the action. Taking the example of a ski-run type action, the digital representation corresponds to the 360 ° film in which are embedded the avatar reproducing the movements of the skier, and the 3D reproduction of the environment around the trajectory of the skier. skier on the descent.
Le module central et les modules distribués permettent de mesurer une multitude de grandeurs de nature différente dont la connaissance simultanée permet d'accéder à des informations de haut niveau sur l'environnement et le mouvement de l'opérateur. Cette solution permet en outre de compenser les imperfections d'un capteur dans une gamme par les données d'un autre capteur : par exemple la dérive d'une centrale inertielle MEMS peut être corrigée par des calibration vidéo et des mesures de distances ou de profondeurs.  The central module and the distributed modules make it possible to measure a multitude of quantities of different nature whose simultaneous knowledge allows access to high level information on the environment and the movement of the operator. This solution also makes it possible to compensate for the imperfections of a sensor in a range by the data of another sensor: for example the drift of a MEMS inertial unit can be corrected by video calibrations and measurements of distances or depths. .
On a représenté sur la figure 1 un schéma d'un module central 10 d'un système selon un mode de réalisation possible de l'invention. Ce module central est lors de la phase d'acquisition un référentiel du système. Il peut alors être fixé sur le corps de l'opérateur, par exemple sur sa tête. En variante, notamment lorsque l'environnement est connu, le module central peut ne pas être embarqué sur l'opérateur mais être déporté de celui-ci et positionné dans l'environnement. A titre d'exemple, il peut être installé sur un poteau de filet de tennis pour permettre de numériser une partie de tennis.  FIG. 1 shows a diagram of a central module 10 of a system according to a possible embodiment of the invention. This central module is during the acquisition phase a repository of the system. It can then be fixed on the body of the operator, for example on his head. As a variant, especially when the environment is known, the central module may not be on board the operator but be removed from it and positioned in the environment. For example, it can be installed on a tennis net post to allow to digitize a game of tennis.
Le module central 10 comprend un ensemble de capteurs 11-14, une mémoire 15, un calculateur 16, une batterie 17, et une interface de communication 18. L'ensemble de capteurs comprend notamment une caméra sphérique 11 permettant d'acquérir une succession de prises de vue à 360° de l'environnement, et un capteur de profondeur 12 permettant de numériser en 3D l'environnement proche du module central (i.e. proche de l'opérateur lorsque celui-ci équipé du module central). La caméra sphérique 11 peut être composée d'au moins deux caméras monoculaires chacune équipée d'un optique grand angle. The central module 10 comprises a set of sensors 11-14, a memory 15, a computer 16, a battery 17, and a communication interface 18. The set of sensors comprises in particular a spherical camera 11 making it possible to acquire a succession of 360 ° shots of the environment, and a depth sensor 12 for scanning in 3D the environment close to the central module (ie close to the operator when the latter equipped with the central module). The spherical camera 11 may be composed of at least two monocular cameras each equipped with a wide angle optics.
Le capteur de profondeur 12 permet de numériser l'environnement proche du module central typiquement sur une distance de 10 mètres, tant en intérieur qu'en extérieur, afin de permettre sa modélisation en 3D. Il s'agit par exemple d'une caméra stéréoscopique, d'un capteur RGB-D, d'un capteur de temps de vol, d'un lidar, etc.  The depth sensor 12 makes it possible to digitize the environment close to the central module typically over a distance of 10 meters, both indoors and outdoors, in order to allow its modeling in 3D. This is for example a stereoscopic camera, a RGB-D sensor, a time of flight sensor, a lidar, etc.
Le module central 10 peut également comprendre un capteur de mouvement 13, par exemple une centrale inertielle, permettant de détecter le mouvement du module central par rapport à l'environnement.  The central module 10 may also include a motion sensor 13, for example an inertial unit, for detecting the movement of the central module relative to the environment.
Le module central 10 peut également comprendre un GPS 14, qui permet notamment de géo-référencer les représentations numériques 360° générées par le système conforme à l'invention. Le GPS 14 peut en outre fournir une aide à la localisation à l'opérateur du système selon l'invention.  The central module 10 may also comprise a GPS 14, which makes it possible in particular to georeference the 360 ° digital representations generated by the system according to the invention. The GPS 14 may further provide location assistance to the operator of the system according to the invention.
La mémoire 15 sert au stockage des données des capteurs 11-14, notamment pour le flux vidéo à 360° de l'environnement délivré par la caméra sphérique 11, et les données de numérisation de l'environnement proche du module central en 3D délivrées par le capteur de profondeur 12.  The memory 15 serves to store the data of the sensors 11-14, in particular for the 360 ° video stream of the environment delivered by the spherical camera 11, and the scanning data of the environment near the central module in 3D delivered by the depth sensor 12.
La mémoire 15 est de préférence amovible. Elle est avantageusement constituée d'une ou plusieurs cartes mémoire interchangeables. La batterie 17 est elle aussi de préférence amovible et interchangeable.  The memory 15 is preferably removable. It is advantageously constituted by one or more interchangeable memory cards. The battery 17 is also preferably removable and interchangeable.
L'interface de communication 18 peut comprendre des moyens de communication avec les modules distribués, tels que des moyens de communication sans fil, par exemple selon le protocole Bluetooth® Low Energy. Le module central 10 peut alors récupérer les données générées par les modules distribués et les stocker dans sa mémoire 15. The communication interface 18 may comprise means of communication with the distributed modules, such as wireless communication means, for example according to the Bluetooth ® Low Energy protocol. The central module 10 can then recover the data generated by the distributed modules and store them in its memory 15.
L'interface de communication 18 peut également comprendre des moyens de communication avec un dispositif externe, tel qu'un smartphone ou une tablette, notamment des moyens de communication sans fil, par exemple selon le protocole WiFi. Le dispositif externe peut être utilisé pour la calibration et la gestion du module central, ainsi que pour piloter les phases d'acquisition d'une action et de visualisation de sa représentation numérique. The communication interface 18 may also comprise means of communication with an external device, such as a smartphone or a tablet, in particular wireless communication means, for example according to the WiFi protocol. The external device can be used for calibration and management of the central module, as well as to control the phases of acquisition of an action and visualization of its digital representation.
L'interface de communication 18 peut en outre comprendre des moyens permettant d'établir une liaison filaire, par exemple une liaison USB, avec un ordinateur, notamment afin de lui transmettre, à l'issue d'une phase d'acquisition, les données générées par le module central et les modules distribués.  The communication interface 18 may furthermore comprise means making it possible to establish a wired link, for example a USB link, with a computer, in particular in order to transmit, at the end of an acquisition phase, the data generated by the central module and the distributed modules.
On a représenté sur la figure 2 un schéma d'un module distribué 20 d'un système selon un mode de réalisation possible de l'invention. Ce module distribué 20 est fixé sur le corps de l'opérateur lors de la phase d'acquisition. Le système selon l'invention exploite une pluralité de modules distribués, fixés en utilisation en différentes localisations sur l'opérateur. Ce système compte par exemple quatre modules distribués : un module distribué sur chaque main et un module distribué sur chaque pied. Les modules distribués sont par exemple clipsés sur des bracelets élastiques.  FIG. 2 shows a diagram of a distributed module 20 of a system according to a possible embodiment of the invention. This distributed module 20 is fixed on the body of the operator during the acquisition phase. The system according to the invention exploits a plurality of distributed modules, fixed in use in different locations on the operator. This system includes, for example, four distributed modules: a module distributed on each hand and a module distributed on each foot. Distributed modules are for example clipped on elastic wristbands.
Chaque module distribué 20 comprend des capteurs 21-23 permettant de reconstruire le mouvement de manière relative au module central, par exemple une centrale inertielle 21, notamment une centrale inertielle 9 axes (accéléromètres, magnétomètres, gyromètres), associée à un capteur de profondeur ou de distance 22. Il peut également comprendre une caméra 23, par exemple faible coût et faible débit de type webcaméra, pour aider à la reconstruction du mouvement de l'opérateur.  Each distributed module 20 comprises sensors 21-23 for reconstructing the movement relative to the central module, for example an inertial unit 21, in particular a 9-axis inertial unit (accelerometers, magnetometers, gyrometers), associated with a depth sensor or 22. It may also include a camera 23, for example low cost and low rate webcamera type, to assist in the reconstruction of the movement of the operator.
Chaque module distribué 20 comprend par ailleurs un calculateur 24, une batterie 25 et une interface de communication 26 avec le module central 10, par exemple via une liaison sans fil, par exemple selon le protocole Bluetooth® Low Energy ou UWB (Ultra Large Bande). Cette interface 26 permet de transmettre, notamment en temps réel, au module central des données représentatives du mouvement de l'opérateur issues des capteurs 21, 22, 23 pour stockage dans la mémoire 15 du module central 10. Les données représentatives du mouvement, les trames du flux vidéo 360° et les cartes de profondeurs sont horodatées. Les trames du flux vidéo 360° et les cartes de profondeurs sont notamment synchronisées. Each distributed module 20 furthermore comprises a computer 24, a battery 25 and a communication interface 26 with the central module 10, for example via a wireless link, for example according to the Bluetooth ® Low Energy or UWB (Ultra Wide Band) protocol. . This interface 26 makes it possible to transmit, in particular in real time, to the central module data representing the movement of the operator from the sensors 21, 22, 23 for storage in the memory 15 of the central module 10. The data representative of the movement, the 360 ° video stream frames and depth maps are time stamped. The frames of the 360 ° video stream and the depth maps are notably synchronized.
Chaque module distribué 20 peut également comprendre un système 27 de télé-alimentation, par exemple par induction. Il peut en outre disposer d'un système de communication 26, par exemple de type RF ou RFID, permettant d'échanger des données de calibration ou de programmation. Each distributed module 20 may also comprise a remote power supply system 27, for example by induction. It may also have a system communication device 26, for example of the RF or RFID type, for exchanging calibration or programming data.
Le module central 10 et les modules distribués 20 permettent ainsi, lors d'une phase d'acquisition d'une action de l'opérateur, de numériser et d'enregistrer le mouvement et l'environnement de l'opérateur.  The central module 10 and the distributed modules 20 thus make it possible, during an acquisition phase of an operator action, to digitize and record the movement and the environment of the operator.
On peut bien entendu utiliser plusieurs modules centraux connectés entre eux pour améliorer la performance d'acquisition de l'environnement en 3D et 360°. A titre d'exemple, on peut réaliser la capture d'une partie de tennis en installant un module central sur chaque poteau de filet et un module central sur la chaise d'arbitre.  One can of course use several central modules connected to each other to improve the acquisition performance of the environment in 3D and 360 °. By way of example, it is possible to capture a tennis game by installing a central module on each net post and a central module on the referee's chair.
On peut par ailleurs multiplier le nombre de modules distribués de manière à améliorer les performances de suivi et de reproduction de mouvement. Et l'invention ne se cantonne pas à des modules distribués fixés sur le seul opérateur, mais s'étend également à l'utilisation de modules distribués installés sur plusieurs opérateurs (par exemple pour suivre les mouvements de deux joueurs d'une partie de tennis) ou des modules distribués installés sur un ou des objets utilisés lors de l'action (par exemple sur un ballon ou sur un vélo de figures libres).  It is also possible to multiply the number of distributed modules in order to improve the performance of tracking and of movement reproduction. And the invention is not confined to distributed modules fixed on the sole operator, but also extends to the use of distributed modules installed on several operators (for example to follow the movements of two players of a tennis game ) or distributed modules installed on one or more objects used during the action (for example on a balloon or on a bicycle of free figures).
La phase d'acquisition peut suivre le processus illustré par la figure 3. Au cours d'une étape Al, le module central 20 est allumé, par exemple via une commande issue du smartphone de l'opérateur. Après que l'opérateur ait installé les modules sur son corps, lors d'une étape A2, une calibration et initialisation du système est réalisée par l'opérateur, par exemple avec des gestes et des postures spécifiques afin de reconnaître la position et l'identification des modules distribués utilisés.  The acquisition phase can follow the process illustrated in FIG. 3. During a step A1, the central module 20 is turned on, for example via a command from the operator's smartphone. After the operator has installed the modules on his body, during a step A2, a calibration and initialization of the system is performed by the operator, for example with specific gestures and postures in order to recognize the position and the identification of the distributed modules used.
Lors d'une étape A3, l'opérateur peut procéder à la création de son avatar, par exemple au moyen de la caméra embarquée dans le module central. Alternativement, l'opérateur peut utiliser un avatar préenregistré.  During a step A3, the operator can proceed to the creation of his avatar, for example by means of the camera embedded in the central module. Alternatively, the operator can use a pre-recorded avatar.
L'étape A4 correspond au démarrage de l'enregistrement, et l'étape A6 à l'arrêt de l'enregistrement. Sur la figure 3, le démarrage et l'arrêt sont réalisés au moyen du smartphone de l'opérateur. Alternativement, ils peuvent être commandés par une commande gestuelle (utilisation d'un geste particulier comme un claquement de main par exemple) ou une commande sonore (utilisation d'une phrase particulière par exemple). Step A4 corresponds to starting the recording, and step A6 to stopping the recording. In Figure 3, the start and stop are performed using the smartphone of the operator. Alternatively, they can be controlled by a gestural command (use of a particular gesture such as a snap of hand for example) or a sound command (use of a particular phrase for example).
L'étape A5 correspond à l'enregistrement de l'action, et au stockage au cours du temps des différentes données issues des capteurs du module central 10 et des modules distribués 20 dans la mémoire 15 du module central.  Step A5 corresponds to the recording of the action, and the storage over time of the various data from the sensors of the central module 10 and distributed modules 20 in the memory 15 of the central module.
Comme représenté sur la figure 5, une fois la phase d'acquisition terminée, l'opérateur peut connecter (étape Bl) le module central 10 à un ordinateur afin de lui transmettre les données enregistrées lors de la phase d'acquisition (flux vidéo, cartes de profondeur, position GPS, quaternions calculés par les centrales inertielles, etc.). Puis au cours d'une étape B2, l'ordinateur vient générer la représentation numérique de l'action grâce à des algorithmes de fusion de données.  As shown in FIG. 5, once the acquisition phase is complete, the operator can connect (step B 1) the central module 10 to a computer in order to transmit to it the data recorded during the acquisition phase (video stream, depth maps, GPS position, quaternions calculated by inertial units, etc.). Then during a step B2, the computer comes to generate the digital representation of the action through data fusion algorithms.
Le système selon l'invention comprend ainsi une unité de traitement informatique configurée pour générer la représentation numérique en exploitant toutes les données stockées dans la mémoire entre un instant de début et un instant de fin d'acquisition. L'unité de traitement informatique est plus particulièrement configurée pour synchroniser lesdites données dans l'espace et le temps et les fusionner afin de générer une représentation numérique.  The system according to the invention thus comprises a computer processing unit configured to generate the digital representation by exploiting all the data stored in the memory between a start time and an end of acquisition time. The computer processing unit is more particularly configured to synchronize said data in space and time and merge them to generate a digital representation.
Cette représentation numérique inclut, dans la succession de prises de vue à 360° de l'environnement acquises lors du déplacement de l'opérateur dans l'environnement, une reproduction de l'opérateur animée de manière à reproduire les mouvements de l'opérateur lors de son déplacement dans l'environnement au cours de la phase d'acquisition et une modélisation en 3D de l'environnement proche du module central lors du déplacement de l'opérateur dans l'environnement au cours de la phase d'acquisition (i.e. proche de l'opérateur quand celui-ci est équipé du module central).  This digital representation includes, in the succession of 360 ° shots of the environment acquired during the movement of the operator in the environment, a reproduction of the animated operator so as to reproduce the movements of the operator during of its displacement in the environment during the acquisition phase and a 3D modeling of the environment close to the central module during the displacement of the operator in the environment during the acquisition phase (ie close of the operator when it is equipped with the central module).
On a représenté sur la figure 4 un schéma d'une suite logicielle 30 composée de plusieurs modules logiciels 31-34 pouvant être exploités dans le cadre de l'invention. On y retrouve un module 31 de récupération et de synchronisation des données enregistrées lors de la phase d'acquisition d'une action, un module 32 de contrôle d'avatar, un module 33 de génération de la représentation numérique de l'action, et un module 34 de visualisation. Le module 32 de contrôle d'avatar assure deux fonctions : FIG. 4 shows a diagram of a software suite 30 composed of several software modules 31-34 that can be used in the context of the invention. There is a module 31 for retrieving and synchronizing the data recorded during the acquisition phase of an action, an avatar control module 32, a module 33 for generating the digital representation of the action, and a display module 34. The avatar control module 32 provides two functions:
- la création, avant la phase d'acquisition, de la reproduction de l'opérateur dans le monde virtuel (i.e. son avatar), et  the creation, before the acquisition phase, of the reproduction of the operator in the virtual world (i.e. his avatar), and
- la reproduction sous contraintes biomécaniques du mouvement de l'opérateur lors de son déplacement dans l'environnement au cours de la phase d'acquisition, de manière à permettre l'animation de la reproduction de l'opérateur dans la représentation numérique.  the reproduction under biomechanical constraints of the movement of the operator during his displacement in the environment during the acquisition phase, so as to allow animation of the reproduction of the operator in the digital representation.
Le module 33 de génération de la représentation numérique permet de reconstruire l'intégralité de la scène numérisée par le module central et les modules distribués. Cette génération de la représentation numérique se fait soit par un calcul sur une machine locale (PC de bureau ou console de salon) si celle-ci est assez puissante, soit par calcul déporté sur des machines accessibles à distance.  The module 33 for generating the digital representation makes it possible to reconstruct the entire digitized scene by the central module and the distributed modules. This generation of the digital representation is done either by a calculation on a local machine (desktop PC or home console) if it is powerful enough, or by remote calculation on machines accessible remotely.
Le module 34 de visualisation est dédié à la visualisation en réalité virtuelle des représentations numériques correspondant aux actions numérisées par l'opérateur lui-même ou à celles réalisées par un autre utilisateur lui ayant mis à disposition les représentations numériques de ses propres actions. Ce module de visualisation permet par ailleurs à l'opérateur d'interagir avec le contenu d'une représentation numérique, mais également de partager le contenu de la représentation numérique avec plusieurs autres utilisateurs simultanément.  The visualization module 34 is dedicated to the visualization in virtual reality of the digital representations corresponding to the actions digitized by the operator himself or to those carried out by another user having made available to him the digital representations of his own actions. This visualization module also allows the operator to interact with the content of a digital representation, but also to share the content of the digital representation with several other users simultaneously.
Des modules complémentaires peuvent être utilisés, comme par exemple un module de gestion de l'opérateur. Ce module logiciel permet à l'opérateur de partager les représentations numériques qu'il a créées. De plus, ce module permet de gérer un compte opérateur, donnant accès à un espace de stockage et de partage de données, pour, par exemple administrer un ou plusieurs avatar(s), les représentations numériques générées, un espace de calcul de ces représentations numériques, etc.  Additional modules can be used, such as an operator management module. This software module allows the operator to share the digital representations he has created. In addition, this module makes it possible to manage an operator account, giving access to a storage and data sharing space, for, for example, administering one or more avatar (s), the generated digital representations, a space for calculating these representations. digital, etc.
En référence à nouveau à la figure 5, le module de visualisation permet à un utilisateur (étape B3) de visualiser une représentation numérique d'une action générée par le module 33, par exemple au moyen d'un casque de réalité virtuelle. Cette visualisation peut être réalisée simultanément par plusieurs utilisateurs (étape B3'), les casques étant pour cela synchronisés. Le module de visualisation permet par ailleurs à l'utilisateur d'interagir avec le contenu d'une représentation numérique, cette interaction étant représentée par une étape B4 sur la figure 5. Notamment, sans que cela ne soit limitatif (l'utilisateur pouvant interagir avec le contenu en utilisant un ou des outils d'interaction conventionnels), le module central et les modules distribués peuvent être avantageusement également utilisés lors de la visualisation en réalité virtuelle pour jouir de l'intégralité de l'expérience interactive avec le contenu. Le ou les utilisateurs peuvent ainsi porter un module distribué, le module central venant acquérir en temps réel les mouvements et la position du ou des utilisateurs pendant la visualisation et l'interaction avec la scène. De telle manière l'utilisateur peut interagir avec l'environnement et les objets contenus dans la scène, avec une interface intuitive et simple d'utilisation. Referring again to Figure 5, the display module allows a user (step B3) to view a digital representation of an action generated by the module 33, for example by means of a virtual reality headset. This visualization can be performed simultaneously by several users (step B3 '), the helmets being synchronized for that purpose. The visualization module also allows the user to interact with the content of a digital representation, this interaction being represented by a step B4 in FIG. 5, in particular, without this being limiting (the user being able to interact with one another). with the content using one or more conventional interaction tools), the central module and the distributed modules can be advantageously also used during visualization in virtual reality to enjoy the entire interactive experience with the content. The user (s) can thus carry a distributed module, the central module acquiring in real time the movements and the position of the user (s) during the visualization and the interaction with the scene. In this way the user can interact with the environment and the objects contained in the scene, with an intuitive and easy-to-use interface.
L'interaction avec le monde virtuel peut notamment comprendre une interaction avec le point de vue de l'utilisateur, par modification des caractéristiques (position, orientation, facteur d'échelle) de la caméra virtuelle qui permet de voir ce qui se passe dans le monde virtuel. Chaque utilisateur peut ainsi choisir et modifier son point de vue pendant la visualisation de la scène. Il est possible de choisir le point de vue filmé par la caméra sphérique, mais également n'importe quel autre point de vue de la scène : sur le côté, au-dessus, en dessous, quelques mètres derrière l'opérateur, etc.  The interaction with the virtual world can include interaction with the user's point of view, by modifying the characteristics (position, orientation, scale factor) of the virtual camera which allows to see what is happening in the virtual world. virtual world. Each user can thus choose and modify his point of view during the visualization of the scene. It is possible to choose the point of view filmed by the spherical camera, but also any other point of view of the scene: on the side, above, below, a few meters behind the operator, etc.
L'interaction avec le monde virtuel peut également comprendre une interaction avec un objet modélisé en 3D dans la représentation numérique. Ainsi, en plus de la visualisation avec une liberté de point de vue de la représentation numérique, l'invention permet également d'interagir, de modifier et de simuler l'effet des modifications dans cette représentation. Chaque élément proche, ainsi que l'opérateur et les objets qu'il utilise sont en effet modélisés en 3D dans la représentation numérique. Le module de visualisation permet de sélectionner puis de modifier ces objets modélisés en 3D dans la représentation numérique. Prenant l'exemple d'une action de type saut à ski, l'invention permet de sélectionner les skis, puis de modifier leurs positions. Il est également possible de supprimer des éléments de la représentation numérique, ou d'en rajouter pour modifier cette représentation. Comme représenté par l'étape B5 sur la figure 5, une fois ces modifications apportées, il est possible de simuler une fraction temporelle de la représentation numérique modifiée afin de pouvoir visualiser les effets de cette modification. L'invention peut dans ce cadre exploiter un simulateur physique permettant de prendre en compte les contraintes du corps humain et la physique liée à l'environnement. The interaction with the virtual world may also include an interaction with a 3D modeled object in the digital representation. Thus, in addition to the visualization with a freedom of view of the digital representation, the invention also makes it possible to interact, modify and simulate the effect of the modifications in this representation. Each close element, as well as the operator and the objects he uses are indeed modeled in 3D in the digital representation. The visualization module makes it possible to select and modify these objects modeled in 3D in the digital representation. Taking the example of a ski jumping type action, the invention makes it possible to select the skis and then to modify their positions. It is also possible to delete elements from the numeric representation, or to add some to modify this representation. As represented by the step B5 in FIG. 5, once these modifications have been made, it is possible to simulate a time fraction of the modified digital representation in order to be able to visualize the effects of this modification. The invention can in this context operate a physical simulator to take into account the constraints of the human body and physics related to the environment.
Dans le système selon l'invention, les modules distribués peuvent chacun comprendre une centrale inertielle et des moyens permettant le calcul d'une distance relative avec le module central. L'unité de traitement informatique peut par ailleurs être déportée du module central.  In the system according to the invention, the distributed modules may each comprise an inertial unit and means for calculating a relative distance with the central module. The computer processing unit can also be deported from the central module.
L'invention n'est pas limitée au système tel que précédemment décrit, et s'étend également au procédé composé des différentes étapes mises en œuvre par un tel système, et en particulier à un procédé de capture et de reproduction du mouvement d'un opérateur en déplacement dans son environnement, comprenant :  The invention is not limited to the system as previously described, and also extends to the method consisting of the various steps implemented by such a system, and in particular to a method of capturing and reproducing the movement of a operator traveling in his environment, comprising:
l'acquisition et le stockage, par un module central d'une succession de prises de vue à 360° de l'environnement et de cartes de profondeur de l'environnement proche du module central, le module pouvant être fixé sur l'opérateur lors de l'acquisition et du stockage,  the acquisition and storage, by a central module of a succession of 360 ° shots of the environment and depth maps of the environment close to the central module, the module being able to be fixed on the operator during acquisition and storage,
l'acquisition par des modules distribués fixés, en utilisation, en différentes localisations sur l'utilisateur de données représentatives du mouvement de l'utilisateur, et la transmission desdites données au module central pour stockage, le traitement des données stockées par le module central de manière à les synchroniser dans l'espace et le temps et à les fusionner afin de générer une représentation numérique incluant, dans la succession de prises de vue à 360° de l'environnement, une animation d'une représentation de l'opérateur reproduisant les mouvements de opérateur lors de son déplacement dans l'environnement et une modélisation en 3D de l'environnement proche du module central lors du déplacement de l'opérateur dans l'environnement.  the acquisition by distributed modules fixed, in use, in different locations on the user of data representative of the movement of the user, and the transmission of said data to the central module for storage, the processing of data stored by the central module of synchronize them in space and time and merge them in order to generate a digital representation including, in the succession of 360 ° shots of the environment, an animation of a representation of the operator reproducing the operator movements during its displacement in the environment and a 3D modeling of the environment close to the central module during the displacement of the operator in the environment.

Claims

REVENDICATIONS
1. Système de capture et de reproduction du mouvement d'un opérateur dans n environnement, comprenant : A system for capturing and reproducing the movement of an operator in an environment, comprising:
- un module central (10) qui comporte :  a central module (10) which comprises:
o une caméra sphérique (11) permettant d'acquérir une succession de prises de vue à 360° de l'environnement,  a spherical camera (11) making it possible to acquire a series of 360 ° shots of the environment,
o un capteur de profondeur (12) permettant de numériser l'environnement proche du module central en 3D,  a depth sensor (12) for scanning the environment close to the central module in 3D,
o une mémoire (15) de stockage des prises de vue à 360° de l'environnement, et de données de numérisation de l'environnement proche du module central en 3D,  a memory (15) for storing 360 ° shots of the environment, and scanning data of the environment close to the central module in 3D,
- des modules distribués (20) fixés, en utilisation, en différentes localisations sur l'opérateur, qui comportent des capteurs de mouvement (21-23) et des moyens de communication (26) avec le module central pour lui transmettre des données représentatives du mouvement de l'opérateur et permettre leur stockage dans la mémoire du module central,  distributed modules (20) fixed, in use, in different locations on the operator, which comprise motion sensors (21-23) and communication means (26) with the central module to transmit to it data representative of the movement of the operator and allow their storage in the memory of the central module,
- une unité de traitement informatique configurée pour synchroniser dans l'espace et le temps les données stockées dans la mémoire du module central au cours d'une phase d'acquisition de données correspondant à la réalisation d'une action de l'opérateur dans son environnement, et pour fusionner les données synchronisées afin de générer une représentation numérique incluant, dans la succession de prises de vue à 360° de l'environnement acquises au cours de la phase d'acquisition de données, un avatar de l'opérateur animé de manière à reproduire les mouvements réalisés par l'opérateur au cours de la phase d'acquisition de données et une modélisation en 3D de l'environnement proche du module central au cours de la phase d'acquisition de données. a computer processing unit configured to synchronize in space and time the data stored in the memory of the central module during a data acquisition phase corresponding to the execution of an action of the operator in his environment, and for merging the synchronized data to generate a digital representation including, in the succession of 360 ° shots of the environment acquired during the data acquisition phase, an avatar of the animated operator of in order to reproduce the movements made by the operator during the data acquisition phase and a 3D modeling of the environment close to the central module during the data acquisition phase.
2. Système selon la revendication 1, comportant en outre un module logiciel de visualisation (34) configuré pour permettre la visualisation par un utilisateur, avec interaction en réalité virtuelle, de la représentation numérique. 2. System according to claim 1, further comprising a visualization software module (34) configured to allow the visualization by a user, with interaction in virtual reality, of the digital representation.
3. Système selon la revendication 2, dans lequel le module logiciel de visualisation est configuré pour permettre la visualisation de la représentation numérique par une pluralité d'utilisateurs, chacun avec sa propre interaction en réalité virtuelle. 3. System according to claim 2, wherein the visualization software module is configured to allow the visualization of the digital representation by a plurality of users, each with its own interaction in virtual reality.
4. Système selon la revendication 2, dans lequel l'interaction en réalité virtuelle comprend une interaction avec le point de vue de l'utilisateur. The system of claim 2, wherein the virtual reality interaction comprises interaction with the user's point of view.
5. Système selon la revendication 2, dans lequel l'interaction en réalité virtuelle comprend une interaction avec un objet modélisé en 3D dans la représentation numérique. The system of claim 2, wherein the virtual reality interaction comprises an interaction with a 3D modeled object in the digital representation.
6. Système selon l'une des revendications 2 à 5, dans lequel l'interaction en réalité virtuelle d'un utilisateur est commandée par l'intermédiaire d'au moins un des modules distribués. 6. System according to one of claims 2 to 5, wherein the virtual reality interaction of a user is controlled via at least one of the distributed modules.
7. Système selon l'une des revendications 1 à 6, dans lequel le module central comporte en outre un capteur de mouvement (13) du module central par rapport à l'environnement. 7. System according to one of claims 1 to 6, wherein the central module further comprises a motion sensor (13) of the central module relative to the environment.
8. Système selon l'une des revendications 1 à 7, dans lequel les modules distribués comprennent chacun une centrale inertielle (21) et des moyens (22) permettant le calcul d'une distance relative avec le module central. 8. System according to one of claims 1 to 7, wherein the distributed modules each comprise an inertial unit (21) and means (22) for calculating a relative distance with the central module.
9. Système selon l'une des revendications 1 à 8, dans lequel la mémoire du module central est une mémoire amovible. 9. System according to one of claims 1 to 8, wherein the memory of the central module is a removable memory.
10. Système selon l'une des revendications 1 à 9, dans lequel l'unité de traitement informatique est déportée du module central. 10. System according to one of claims 1 to 9, wherein the computer processing unit is remote from the central module.
11. Procédé de capture et de reproduction du mouvement d'un opérateur dans son environnement, comprenant : 11. A method of capturing and reproducing the movement of an operator in his environment, comprising:
au cours d'une phase d'acquisition de données correspondant à la réalisation d'une action de l'opérateur dans son environnement :  during a data acquisition phase corresponding to the achievement of an action of the operator in his environment:
o l'acquisition et le stockage, par un module central (10) d'une succession de prises de vue à 360° de l'environnement et de cartes de profondeur de l'environnement proche du module central,  o the acquisition and storage, by a central module (10) of a succession of 360 ° shots of the environment and depth maps of the environment close to the central module,
o l'acquisition par des modules distribués (20) fixés en différentes localisations sur l'opérateur de données représentatives du mouvement de l'opérateur, et la transmission desdites données au module central pour stockage,  o acquisition by distributed modules (20) fixed in different locations on the operator of data representative of the movement of the operator, and the transmission of said data to the central module for storage,
après la phase d'acquisition de données, le traitement des données stockées par le module central au cours de la phase d'acquisition de données de manière à les synchroniser dans l'espace et le temps et à les fusionner afin de générer une représentation numérique incluant, dans la succession de prises de vue à 360° de l'environnement acquises au cours de la phase d'acquisition de données, une animation d'un avatar de l'opérateur reproduisant les mouvements réalisés par l'opérateur au cours de la phase d'acquisition de données et une modélisation en 3D de l'environnement proche du module central au cours de la phase d'acquisition de données.  after the data acquisition phase, processing the data stored by the central module during the data acquisition phase so as to synchronize them in space and time and to merge them in order to generate a digital representation including, in the succession of 360 ° shots of the environment acquired during the data acquisition phase, an animation of an avatar of the operator reproducing the movements made by the operator during the data acquisition phase and 3D modeling of the near-core-module environment during the data acquisition phase.
12. Procédé selon la revendication 11, comprenant en outre une étape de visualisation de la représentation numérique par un ou plusieurs utilisateurs, avec interaction en réalité virtuelle. 12. The method of claim 11, further comprising a step of viewing the digital representation by one or more users, with interaction in virtual reality.
13. Procédé selon la revendication 12, dans lequel l'interaction en réalité virtuelle comprend une interaction avec le point de vue de l'utilisateur et/ou une interaction avec un objet modélisé en 3D dans la représentation numérique. The method of claim 12, wherein the virtual reality interaction comprises interaction with the user's point of view and / or interaction with a 3D modeled object in the digital representation.
14. Procédé selon l'une des revendications 12 et 13, dans lequel l'interaction en réalité virtuelle d'un utilisateur est commandée par l'intermédiaire d'au moins un des modules distribués. 14. Method according to one of claims 12 and 13, wherein the virtual reality interaction of a user is controlled via at least one of the distributed modules.
15. Procédé selon l'une des revendications 11 à 14, dans lequel le module central est fixé sur l'opérateur lors de l'acquisition et du stockage, par le module central, de la succession de prises de vue à 360° de l'environnement et des cartes de profondeur de l'environnement proche du module central. 15. Method according to one of claims 11 to 14, wherein the central module is fixed on the operator during the acquisition and storage, by the central module, the succession of 360 ° shots of the camera. environment and depth maps of the environment near the central module.
PCT/FR2017/051877 2016-07-13 2017-07-10 On-board system and method for capture and 3d/360° reproduction of the movement of an operator in the environment of same WO2018011497A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR1656740A FR3054062B1 (en) 2016-07-13 2016-07-13 SYSTEM AND METHOD FOR ONBOARD CAPTURE AND 3D / 360 ° REPRODUCTION OF THE MOVEMENT OF AN OPERATOR IN ITS ENVIRONMENT
FR1656740 2016-07-13

Publications (1)

Publication Number Publication Date
WO2018011497A1 true WO2018011497A1 (en) 2018-01-18

Family

ID=57137082

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/FR2017/051877 WO2018011497A1 (en) 2016-07-13 2017-07-10 On-board system and method for capture and 3d/360° reproduction of the movement of an operator in the environment of same

Country Status (2)

Country Link
FR (1) FR3054062B1 (en)
WO (1) WO2018011497A1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022106545A1 (en) 2020-11-23 2022-05-27 Commissariat A L'energie Atomique Et Aux Energies Alternatives Learning device for mobile cyber-physical system

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100103196A1 (en) * 2008-10-27 2010-04-29 Rakesh Kumar System and method for generating a mixed reality environment
US20120206565A1 (en) * 2011-02-10 2012-08-16 Jason Villmer Omni-directional camera and related viewing software
US20120327194A1 (en) * 2011-06-21 2012-12-27 Takaaki Shiratori Motion capture from body mounted cameras
WO2015123771A1 (en) * 2014-02-18 2015-08-27 Sulon Technologies Inc. Gesture tracking and control in augmented and virtual reality
US20160104451A1 (en) * 2014-10-09 2016-04-14 Nedim T. SAHIN Method, system, and apparatus for battery life extension and peripheral expansion of a wearable data collection device

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2808760B1 (en) * 2013-05-29 2023-08-16 Dassault Systèmes Body posture tracking

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100103196A1 (en) * 2008-10-27 2010-04-29 Rakesh Kumar System and method for generating a mixed reality environment
US20120206565A1 (en) * 2011-02-10 2012-08-16 Jason Villmer Omni-directional camera and related viewing software
US20120327194A1 (en) * 2011-06-21 2012-12-27 Takaaki Shiratori Motion capture from body mounted cameras
WO2015123771A1 (en) * 2014-02-18 2015-08-27 Sulon Technologies Inc. Gesture tracking and control in augmented and virtual reality
US20160104451A1 (en) * 2014-10-09 2016-04-14 Nedim T. SAHIN Method, system, and apparatus for battery life extension and peripheral expansion of a wearable data collection device

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ANONYMOUS: "MOTION RECALL - COMPANY PROFILE", FORUM 5I - 19TH EDITION, 2 June 2016 (2016-06-02), XP055417924, Retrieved from the Internet <URL:http://venture5i-2016.insight-outside.fr/executive-summary-C1388029FS.pdf> [retrieved on 20171023] *
EMMANUEL FORSANS: "Motion Recall invente l'ultra-réalité-virtuelle", 10 July 2016 (2016-07-10), XP055417956, Retrieved from the Internet <URL:http://www.afjv.com/news/6504_motion-recall-invente-l-ultra-realite-virtuelle.htm> [retrieved on 20171023] *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022106545A1 (en) 2020-11-23 2022-05-27 Commissariat A L'energie Atomique Et Aux Energies Alternatives Learning device for mobile cyber-physical system
FR3116634A1 (en) 2020-11-23 2022-05-27 Commissariat A L'energie Atomique Et Aux Energies Alternatives Learning device for mobile cyber-physical system

Also Published As

Publication number Publication date
FR3054062B1 (en) 2018-08-24
FR3054062A1 (en) 2018-01-19

Similar Documents

Publication Publication Date Title
US10685496B2 (en) Saving augmented realities
US10567630B2 (en) Image capture using a hinged device with multiple cameras
EP2132710B1 (en) Augmented reality method and devices using a real time automatic tracking of marker-free textured planar geometrical objects in a video stream
US20170200312A1 (en) Updating mixed reality thumbnails
CN107636534A (en) General sphere catching method
CN107305435A (en) Linked between augmented reality and reality environment and interactive system and method
WO2019130864A1 (en) Information processing device, information processing method, and program
GB2565377A (en) Video generation method and apparatus
CN105264478A (en) Hologram anchoring and dynamic positioning
CN105378632A (en) User focus controlled graphical user interface using a head mounted device
CA2942652C (en) Three dimensional simulation system capable of creating a virtual environment uniting a plurality of users, and associated process
CN111602104B (en) Method and apparatus for presenting synthetic reality content in association with identified objects
EP2111605B1 (en) Method and device for creating at least two key images corresponding to a three-dimensional object
US20160371885A1 (en) Sharing of markup to image data
CN103793473A (en) Method for storing augmented reality
CN108364336A (en) Method and system based on three-dimensional animation motion capture virtual camera stabilization
WO2018011497A1 (en) On-board system and method for capture and 3d/360° reproduction of the movement of an operator in the environment of same
CA2965332C (en) Method for collecting image data for producing immersive video and method for viewing a space on the basis of the image data
WO2013144506A1 (en) Method and device for creating images
US20190289274A1 (en) Systems and methods for generating a socially built view of video content
WO2023046902A1 (en) Human-machine interface system
FR3057430A1 (en) DEVICE FOR IMMERSION IN A REPRESENTATION OF AN ENVIRONMENT RESULTING FROM A SET OF IMAGES
Thandu An Exploration of Virtual Reality Technologies for Museums
EP3351007B1 (en) Method for displaying data relating to an event and associated system
FR3127597A1 (en) MAN-MACHINE INTERFACE SYSTEM

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17748525

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17748525

Country of ref document: EP

Kind code of ref document: A1