WO2018087462A1 - Dispositif individuel d'immersion visuelle pour personne en mouvement avec gestion des obstacles - Google Patents

Dispositif individuel d'immersion visuelle pour personne en mouvement avec gestion des obstacles Download PDF

Info

Publication number
WO2018087462A1
WO2018087462A1 PCT/FR2017/053029 FR2017053029W WO2018087462A1 WO 2018087462 A1 WO2018087462 A1 WO 2018087462A1 FR 2017053029 W FR2017053029 W FR 2017053029W WO 2018087462 A1 WO2018087462 A1 WO 2018087462A1
Authority
WO
WIPO (PCT)
Prior art keywords
user
images
area
obstacles
visual immersion
Prior art date
Application number
PCT/FR2017/053029
Other languages
English (en)
Inventor
Cécile SCHMOLLGRUBER
Edwin AZZAM
Olivier Braun
Aymeric DUJARDIN
Abdelaziz Bensrhair
Sébastien KRAMM
Alexandrina ROGOZAN
Original Assignee
Stereolabs
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Stereolabs filed Critical Stereolabs
Priority to US16/348,746 priority Critical patent/US20200012335A1/en
Publication of WO2018087462A1 publication Critical patent/WO2018087462A1/fr

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Definitions

  • the invention relates to a virtual reality headset intended to be worn by a user and comprising a system for broadcasting two synchronized image streams and an optical system for displaying correctly with the left eye and the right eye, respectively the images of the two streams, each eye having to see essentially or only the images of one of the two streams. It is possible for this to use a substantially rectangular or oblong screen on which are spread on the left side and on the right side the images of the two streams. It is also possible to use two synchronized screens arranged next to each other, each of which displays the corresponding left or right image, rather than a single screen.
  • the helmet integrates a stereoscopic camera composed of two synchronized sensors, reproducing the field of view of the eyes of the user.
  • this camera is oriented towards the scene that the user could see if his eyes were not obscured by the helmet.
  • This camera is connected to an internal or external calculation unit of the helmet allowing the processing of the images coming from the two sensors.
  • a possible image processing is a succession of algorithms to extract the depth map of the scene and then use this result with the left and right associated images to deduce the change of position and orientation of the camera between two consecutive instants of shooting (typically separated by one sixtieth of a second).
  • the system described in patent application FR 1655388 of June 10, 2016 includes a stereoscopic camera in a mixed reality helmet.
  • the integrated screen coupled to the acquisition system allows the user to see the real world in front of him, to which are added virtual images. The user is then able to detect many real objects (obstacles) around him.
  • obstacles real objects
  • immersion in the virtual world is total, and no visual feedback can then anticipate collisions. Immersion in the system can result in a loss of user focus, and neglect of obstacles around it.
  • US20160027212A1 proposes to use the depth information to identify the elements closest to the user and thus detect obstacles.
  • a depth sensor is positioned on the helmet, when an object is at a defined threshold distance, the obstacle is displayed superimposed on the screen of the device, warning the user of the danger in front of him.
  • This system is only capable of detecting objects in front of the user and in the area covered by the depth sensor. Any object on the ground, behind the user or on the sides is not visible: a movement towards these obstacles is not taken into account by this system.
  • the invention relates to a system for detecting moving or static obstacles for a virtual reality helmet with a stereoscopic camera capable of mapping the environment a priori, then identifying the location of the helmet in order to warn the user in case of danger.
  • the system offers support for certain obstacles, namely static obstacles, even if they are outside the field of vision of the helmet camera.
  • the invention therefore proposes to manage dynamic and static objects, even outside the field of view by a priori mapping of the area.
  • the invention is an extension of the system of patent application FR 1655388, but finds an application which is not limited to this system. She meets the need of the user not to walk blind while wearing the helmet. It makes it possible to move in a defined space in complete safety, independently of the movements and the orientation of the device.
  • the system uses a stereoscopic camera, the depth map calculated from the two images, as well as the position of the camera in the space.
  • an individual visual immersion device for a person in motion comprising means for placing the device on the person and for displaying immersive images in front of the person's eyes, and also comprising a stereoscopic camera, characterized in that that he understands
  • said images are merged into a model of the operation zone by searching in different images for pixels corresponding to the same point of the operation zone, and by merging said pixels so as not to introduce redundant information, or at least limit the redundant information in the model;
  • the pixels corresponding to the same point of the operation zone are identified using a distance or using a truncated signed distance function volume;
  • the initialization phase comprises the memorization of points of interest associated with their respective positions in the operating zone, and the use phase comprises a location of the user with respect to the card at the using at least one of said points;
  • the points of interest are chosen according to a recovery criterion to cover the area of operation by limiting the redundancies, chosen on the instruction of the user or chosen regularly in time during a movement of the device to during the initialization phase
  • the stereoscopic camera comprises two image sensors and a means for calculating disparity information between images captured by the two sensors in a synchronized manner
  • the device comprises means for, during the phase of use of the device in the operating zone, the device being worn by a user, capturing stereoscopic images corresponding to a potential field of view of the user, analyzing said images corresponding to the potential field of vision for detecting an eventual additional obstacle in them and, if the user approaches the said additional obstacle, then triggering an alerting process;
  • the means for analyzing the images to detect a possible additional obstacle are implemented simultaneously with the means for detecting whether the user is approaching one of the static obstacles identified in the card;
  • the alerting process includes transmitting a sound, displaying an obstacle image superimposed on the immersive images if such an overlay is spatially based, displaying a symbolic obstacle indication with an indication of the concerned direction, or a display of a pictorial representation of the user and the obstacle in proximity to one another.
  • FIG. 1 is a flow chart showing the initialization function of the system in one embodiment of the invention
  • FIG. 2 is an illustration of one aspect of the processes according to the invention
  • FIG. 3 is a flow chart showing the operation in use of the embodiment of the system initialized according to FIG. 1;
  • FIG. 4 is an illustration of one aspect of the processes according to the invention.
  • FIG. 5 is an illustration of a user's movement of the system and the implementation of his obstacle detection functions
  • Figure 1 shows the initialization mode of the system.
  • the system consists of a virtual reality headset.
  • the headset is called mixed reality headset because information from the real world is introduced into the virtual reality presented to the user, but virtual reality is the essence of the experience of it.
  • the headset has a module A1 to acquire left and right images from two sensors directed towards the same half space, and positioned next to each other so as to provide a binocular view of a part of this half space. These two sensors are synchronized
  • the helmet also includes a module B1 for generating a disparity map, in this case a dense depth map which is calculated using the pairs of synchronized images obtained from the two sensors.
  • a module B1 for generating a disparity map in this case a dense depth map which is calculated using the pairs of synchronized images obtained from the two sensors.
  • these two sensors constitute a depth sensor.
  • the helmet further comprises a C1 odometry module for estimating the position of the device in motion. It may be a visual odometry system or a visual odometry complemented by information provided by an inertial unit
  • Initialization of the system can only be done once per use. Typically, it is performed only if the operation area has changed, usually by moving objects.
  • the goal during the initialization phase is to create a map of static obstacles in the area. For this the user has to go through the area with the device including the stereo camera. The environment is then mapped and processed.
  • the user carries the device on his or her head or by hand and moves over the entire operating area, with instructions to explore all the real obstacles in the operating area with the stereoscopic capture system.
  • a depth map dense is calculated using the two images obtained from the two depth sensors, using modules A1 and B1.
  • the user may not move, and simply turn the helmet to scan the environment. To do this, he can put the helmet on his head and turn it without moving.
  • it is desirable to move in it to map it, and to prevent the user from hitting the obstacles, it is easier to hold the helmet by hand.
  • the position in the camera space is also determined, using the C1 module, for each instant of image capture.
  • the module C1 controls the recording of images or visible characteristics constituting points of interest, and the recording in memory of the position of the helmet at the moment of observation of these points.
  • This process is represented D1 in FIG.
  • This process aims to cover the area traveled by the user, by building a database of points of interest.
  • the triggering of a record of a new entry in the thus-constituted base preferably takes place according to a collection criterion which determines the amount of redundant information with the other entries of the base.
  • Other criteria may be used such as manually triggering a recording by the user, calculating a physical distance between each position of the points of interest or a lapse of time between two recordings.
  • a database E1 is thus constructed. It contains a set of reference positions associated with features or images at the time of initialization. It is called relocation base, because it is then used during the use of the device to relocate it.
  • FIG. 2 It shows the reference reference spatial reference R fixed according to the first acquisition, various obstacles O in the zone of operation Z.
  • the database BD is constructed by recording of images or points of interest, whose positions in space are preserved.
  • the database BD will then be called relocation database, and used to allow the device to locate in space for a use phase.
  • depth map B1 and stereoscopic system parameters are used to generate a scatter plot, projecting each pixel of the image to obtain coordinates of points in space.
  • the points in the space then undergo a marker change using the information on the position of the helmet in space from the odometry module C1 in order to place all the points captured during the initialization phase in a fixed common landmark. This is led by the F1 module.
  • These sets of points are merged during a G1 operation to create a dense model (mapping) of the operation area while reducing the amount of redundant information.
  • This process can be done by, for example, traversing the sets of points and merging the points identified as being close to one another according to a distance or using a truncated signed distance function volume. TSDF-Volume).
  • a subsequent step H1 consists in generating a mesh in the set of three-dimensional points. This mesh consists of connected triangles, modeling the surfaces of the area of operations.
  • the model is interpreted during a step 11 to extract free areas and obstacles.
  • the ground is identified by the system, for example by approximating a plane on the mesh by an iterative method or by calculating the vectors of the normal directions on a subset of the mesh to determine the main orientation.
  • the visible elements are considered as obstacles according to their sizes.
  • the size threshold used is automatically refined or adjusted by the user.
  • Figure 3 shows the device in phase of operation and use of the helmet.
  • the system first reloads the map.
  • the system loads the map of static obstacles in the operation area. Then he determines his position. This is shown in Figure 4. For this, it maps the positions in the space between the instantaneous real world and the world previously recorded during the initialization phase.
  • the user allows, without having to move in the area of operation, to his helmet to observe the environment, and to determine the depth map A2.
  • a match is sought for the current images, in a limited number (for example a single image) from the camera and the elements of the BD database called relocation base E1.
  • relocation base E1 When a visual match is found between a current observation and an input of the base, the associated position in the base is extracted and used, to match the R mark that was used during the initialization phase, and the reference current R '. This is a start-up phase of the system. This is the link between the mark of the obstacle map J1, calculated at the initialization phase and the reference of the helmet in the current hardware environment. If necessary, for more precision, we use the distance between the locations identified in the database E1. It is also possible to use the depth information present in the current image displayed by the helmet. A correction is applied by calculating the difference between the position of the current helmet and the recorded position, thus relocating the helmet.
  • a static detection F2 that uses the obstacle map from the initialization phase, to indicate to the user all objects too close to which he is heading, regardless of where the user is looking; and at the same time a dynamic obstacle detection D2, capable of detecting all obstacles in the FOV field of view, even if they were not present during the initialization phase, as typically a person or an animal passing through the area. operation.
  • the system follows, by a function odometh B2, the user's position in the obstacle map J 1 in order to be able to trigger an alert if he may encounter an obstacle.
  • Two obstacle detection systems in the use phase are then used simultaneously, while the user is involved in a virtual reality experiment.
  • the first obstacle detection system D2 detects the obstacles visible by the camera, which can therefore be dynamic. It is based on determining the presence of obstacles solely or primarily on a current three-dimensional point cloud C2, and possibly on the odometry information B2.
  • the current C2 cloud is generated from the current A2 depth map.
  • a threshold is set which may be a distance to the obstacles.
  • the system searches through module D2 for elements of the cloud of points in a sphere of radius that threshold around the player.
  • the threshold can also be a time taking into account the direction and speed of the current movement, given by the odometry module B2, extrapolated to evaluate the presence of obstacles in the trajectory on the basis of the cloud C2.
  • an alert E2 is triggered and a warning is sent to the user, for example by displaying the obstacle superimposed virtual content.
  • a second obstacle detection system F2 uses the static obstacle map J1, and the position in the space obtained by the odometry B2. At each moment, a new position obtained by the odometry B2 is given and the system tests the position in the obstacle map J1.
  • a first mode determines whether objects are within a security perimeter of defined size around the user. If at least one object is found, the system determines that there is a danger and alerts the user by a G2 alerting process.
  • a second mode uses the positional history to deduce a displacement vector, and to extrapolate the future position by assuming that the movement will be constant locally. The system is then able to determine if an obstacle is on the way. In case of detection of an object, a G2 alert process is triggered to warn the user.
  • the alerts can be of several intensities and of different natures: spatialized sound, superimposed display of obstacles, display of an indication of obstacles in the direction concerned (arrows or color border for example). It is also possible to display a "third person" view of the user with the modeled environment and the nearest obstacles.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Optics & Photonics (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)
  • Manipulator (AREA)

Abstract

Dispositif individuel d'immersion visuelle pour personne en mouvement comprenant des moyens pour placer le dispositif sur la personne et pour afficher devant les yeux de la personne des images immersives, et comprenant également une caméra stéréoscopique, caractérisé en ce qu'il comprend - des moyens pour, au cours d'une phase d'initialisation du dispositif dans une zone d'opération comprenant des obstacles statiques, le dispositif étant déplacé dans la zone d'opération, enregistrer (F1) des images stéréoscopiques de la zone d'opération sous plusieurs points de vue à l'aide de la caméra, puis fusionner (G1) lesdites images en un modèle de la zone d'opération, et interpréter (11) ledit modèle pour créer une carte en trois dimensions d'obstacles identifiés dans la zone d'opération, - et des moyens pour, au cours d'une phase d'utilisation du dispositif dans la zone d'opération, le dispositif étant porté par un utilisateur, détecter si l'utilisateur s'approche d'un des obstacles statiques repérés dans ladite carte et déclencher alors un processus d'alerte.

Description

DISPOSITIF INDIVIDUEL D'IMMERSION VISUELLE POUR PERSONNE EN MOUVEMENT AVEC GESTION DES OBSTACLES
Contexte technologique
L'invention porte sur un casque de réalité virtuelle destiné à être porté par un utilisateur et comprenant un système de diffusion de deux flux d'images synchronisées et un système optique permettant de visualiser correctement avec l'œil gauche et l'œil droit, respectivement les images des deux flux, chaque œil devant voir essentiellement ou uniquement les images d'un des deux flux. Il est possible pour cela d'utiliser un écran essentiellement rectangulaire ou oblong sur lequel sont diffusées, sur la partie gauche et sur la partie droite les images des deux flux. Il est également possible d'utiliser deux écrans synchronisés et disposés l'un à côté de l'autre, qui chacun affichent l'image gauche ou droite correspondante, plutôt qu'un seul écran.
Le casque intègre une caméra stéréoscopique composée de deux capteurs synchronisés, reproduisant le champ de vue des yeux de l'utilisateur. En particulier, cette caméra est orientée vers la scène que l'utilisateur pourrait voir si ses yeux n'étaient pas occultés par le casque.
Cette caméra est connectée à une unité de calcul interne ou externe au casque permettant le traitement des images provenant des deux capteurs.
Un traitement d'images possible est une succession d'algorithme permettant d'extraire la cartographie de profondeur de la scène puis d'utiliser ce résultat avec les images associées gauche et droite pour en déduire le changement de position et d'orientation de la caméra entre deux instants consécutifs de prise de vue (typiquement séparés d'un soixantième de seconde).
Ces différents résultats peuvent être utilisés pour afficher un modèle de réalité virtuelle (typiquement un jeu ou une simulation professionnelle) sur l'écran et modifier le point du vue virtuel en l'adaptant à la position et à l'orientation courantes de la caméra dans l'espace. Il est aussi possible de mélanger de manière cohérente un flux d'images ou d'objets virtuels dans la scène réelle filmée par la caméra. On parle alors de réalité augmentée.
Le système décrit dans la demande de brevet FR 1655388 du 10 juin 2016 comprend une caméra stéréoscopique dans un casque de réalité mixte. Pour des applications de réalité augmentée l'écran intégré couplé au système d'acquisition permet à l'utilisateur de voir le monde réel en face de lui, auquel sont additionnées des images virtuelles. L'utilisateur est alors capable de détecter de nombreux objets réels (obstacles) autour de lui. Cependant, dans le cas d'une application de réalité virtuelle, l'immersion dans le monde virtuel est totale, et aucun retour visuel ne permet alors d'anticiper les collisions. L'immersion dans le système peut entraîner une perte de repère de l'utilisateur, et une négligence des obstacles présents autour de lui.
Le système décrit dans le document US20160027212A1 propose d'utiliser l'information de profondeur pour identifier les éléments les plus proches de l'utilisateur et ainsi détecter les obstacles. Un capteur de profondeur est positionné sur le casque, lorsqu'un objet se trouve à une distance seuil définie, l'obstacle est affiché en surimpression du contenu sur l'écran du dispositif, avertissant l'utilisateur du danger en face de lui. Ce système n'est capable que de détecter les objets devant l'utilisateur et dans la zone couverte par le capteur de profondeur. Tout objet au sol, derrière l'utilisateur ou sur les côtés n'est pas visible : un déplacement vers ces obstacles n'est donc pas pris en compte par ce système.
On est ainsi confronté à l'absence de solution complète de gestion des problèmes de collisions entre un utilisateur de casque de réalité virtuelle et les objets de son environnement. On souhaite de manière générale améliorer l'expérience de l'utilisateur et sa sécurité.
Résumé de l'invention
L'invention concerne un système de détection d'obstacles en mouvement ou statiques pour casque de réalité virtuelle avec caméra stéréoscopique capable de cartographier l'environnement a priori, puis d'identifier la localisation du casque afin de prévenir l'utilisateur en cas de danger de collision avec un objet, Le système offre une prise en charge de certains obstacles, à savoir les obstacles statiques, même s'ils sont hors du champs de vision de la caméra du casque.
L'invention propose donc de gérer les objets dynamiques et statiques, même hors du champ de vision par une cartographie a priori de la zone.
L'invention est une extension du système de la demande de brevet FR 1655388, mais trouve une application qui n'est pas limitée à ce système. Elle répond au besoin de l'utilisateur de ne pas marcher à l'aveugle en portant le casque. Elle permet de se déplacer dans un espace défini en toute sécurité, indépendamment des mouvements et de l'orientation du dispositif.
Le système utilise une caméra stéréoscopique, la carte de profondeur calculée à partir des deux images, ainsi que la position de la caméra dans l'espace.
Plus précisément, il est proposé un dispositif individuel d'immersion visuelle pour personne en mouvement comprenant des moyens pour placer le dispositif sur la personne et pour afficher devant les yeux de la personne des images immersives, et comprenant également une caméra stéréoscopique, caractérisé en ce qu'il comprend
- des moyens pour, au cours d'une phase d'initialisation du dispositif dans une zone d'opération comprenant des obstacles statiques, le dispositif étant ou non déplacé dans la zone d'opération, enregistrer des images stéréoscopiques de la zone d'opération sous plusieurs points de vue à l'aide de la caméra, puis fusionner lesdites images en un modèle de la zone d'opération, et interpréter ledit modèle pour créer une carte en trois dimensions d'obstacles identifiés dans la zone d'opération,
- et des moyens pour, au cours d'une phase d'utilisation du dispositif dans la zone d'opération, le dispositif étant porté par un utilisateur, détecter si l'utilisateur s'approche d'un des obstacles statiques repérés dans ladite carte et déclencher alors un processus d'alerte.
Selon des caractéristiques avantageuses et optionnelles, on observe aussi que
- lesdites images sont fusionnées en un modèle de la zone d'opération en recherchant dans des images différentes des pixels correspondant à un même point de la zone d'opération, et en les fusionnant lesdits pixels pour ne pas introduire d'informations redondantes, ou du moins limiter les informations redondantes, dans le modèle ;
- les pixels correspondant à un même point de la zone d'opération sont identifiés à l'aide d'une distance ou à l'aide d'un volume de fonction de distance signée tronquée ;
- un périmètre de sécurité défini autour de l'utilisateur ou une extrapolation d'une position future de l'utilisateur fondée sur une historique des positions de l'utilisateur est utilisé pour détecter si l'utilisateur s'approche d'un des obstacles statiques repérés dans ladite carte ; - la phase d'initialisation comprend la mémorisation de points d'intérêt associés à leurs positions respectives dans la zone d'opération, et la phase d'utilisation comprend une localisation de l'utilisateur vis-à-vis de la carte à l'aide d'au moins un desdits points ;
- les points d'intérêt sont choisis en fonction d'un critère de recouvrement pour couvrir la zone d'opération en limitant les redondances, choisis sur instruction de l'utilisateur ou choisis régulièrement dans le temps au cours d'un déplacement du dispositif au cours de la phase d'initialisation
- la caméra stéréoscopique comprend deux capteurs d'images et un moyen de calcul d'une information de disparité entre des images capturées par les deux capteurs de manière synchronisée
- le dispositif comprend des moyens pour, au cours de la phase d'utilisation du dispositif dans la zone d'opération, le dispositif étant porté par un utilisateur, capter des images stéréoscopiques correspondant à un champ de vision potentiel de l'utilisateur, analyser lesdites images correspondant au champ de vision potentiel pour détecter un éventuel obstacle supplémentaire dans celles-ci et, si l'utilisateur s'approche dudit éventuel obstacle supplémentaire déclencher alors un processus d'alerte ;
- les moyens pour analyser les images pour détecter un éventuel obstacle supplémentaire sont mis en œuvre simultanément aux moyens pour détecter si l'utilisateur s'approche d'un des obstacles statiques repérés dans la carte ;
- le processus d'alerte comprend l'émission d'un son, un affichage d'une image d'obstacle en surimpression des images immersives si une telle surimpression est fondée spatialement, un affichage d'une indication symbolique d'obstacle avec une indication de la direction concernée, ou un affichage d'une représentation imagée de l'utilisateur et de l'obstacle en proximité l'un de l'autre.
Liste des figures
L'invention va maintenant être décrite en référence aux figures, parmi lesquelles :
- La figure 1 est un ordinogramme présentant la fonction d'initialisation du système dans un mode de réalisation de l'invention ;
- La figure 2 est une illustration d'un aspect des processus selon l'invention ; - La figure 3 est un ordinogramme présentant le fonctionnement en utilisation du mode de réalisation du système initialisé conformément à la figure 1 ;
- La figure 4 est une illustration d'un aspect des processus selon l'invention ;
- La figure 5 est une illustration du déplacement d'un utilisateur du système et de la mise en œuvre de ses fonctions de détection d'obstacles ;
Description détaillée
La figure 1 présente le mode d'initialisation du système. Le système est constitué d'un casque de réalité virtuelle. Le casque est dit casque de réalité mixte car des informations issues du monde réel sont introduites dans la réalité virtuelle présentée à l'utilisateur, mais la réalité virtuelle constitue l'essentiel de l'expérience de celui-ci.
Le casque dispose d'un module A1 pour acquérir des images gauche et droite en provenance de deux capteurs dirigés vers un même demi espace, et positionnés l'un à côté de l'autre en sorte de fournir une vue binoculaire sur une partie de ce demi-espace. Ces deux capteurs sont synchronisés
Le casque comprend aussi un module B1 pour générer une carte de disparité, en l'occurrence une carte de profondeur dense qui est calculée à l'aide des paires d'images synchronisées obtenues en provenance des deux capteurs. Ainsi, ces deux capteurs constituent un capteur de profondeur.
Le casque comprend de plus un module d'odométrie C1 permettant d'estimer la position du dispositif en mouvement. Il peut s'agir d'un système d'odométrie visuelle ou d'une odométrie visuelle complétée par les informations fournies par une centrale inertielle
L'initialisation du système peut n'être effectuée qu'une fois par utilisation. Typiquement, elle n'est effectuée que si la zone d'opération a changée, en général par le déplacement d'objets.
L'objectif visé lors de la phase d'initialisation est de créer une carte des obstacles statiques de la zone. Pour cela l'utilisateur doit parcourir la zone avec le dispositif comprenant la caméra stéréo. L'environnement est alors cartographié puis traité.
L'utilisateur porte le dispositif sur sa tête ou à la main et se déplace sur toute la zone d'opération, avec pour consigne d'explorer l'ensemble des obstacles réels de la zone d'opération avec le système de capture stéréoscopique. À chaque image (et donc, typiquement 60 fois par secondes), une carte de profondeur dense est calculée à l'aide des deux images obtenues en provenance des deux capteurs de profondeur, à l'aide des modules A1 et B1 . Dans le cas d'une zone d'opération simple, l'utilisateur peut ne pas se déplacer, et se contenter de tourner le casque pour balayer l'environnement. Pour se faire, il peut mettre le casque sur sa tête et tourner celle-ci sans se déplacer. Dans le cas d'une zone complexe, il est souhaitable de se déplacer dans celle-ci pour bien la cartographier, et pour éviter que l'utilisateur ne heurte les obstacles, il est plus simple qu'il tienne le casque à la main.
La position dans l'espace de la caméra est également déterminée, à l'aide du module C1 , pour chaque instant de capture d'images.
Deux processus interviennent ensuite.
Tout d'abord le module C1 commande l'enregistrement d'images ou de caractéristiques visibles constituant des points d'intérêts, et l'enregistrement en mémoire de la position du casque à l'instant de l'observation de ces points. Ce processus est représenté D1 sur la figure 1 . Ce processus vise à couvrir la zone parcourue par l'utilisateur, en constituant une base de données de points d'intérêt. Le déclenchement d'un enregistrement d'une nouvelle entrée dans la base ainsi constituée a lieu de façon préférentielle en fonction d'un critère de recouvrement qui détermine la quantité d'information redondante avec les autres entrées de la base. D'autres critères peuvent être utilisés tel que le déclenchement manuel d'un enregistrement par l'utilisateur, le calcul d'une distance physique entre chaque position des points d'intérêt ou un laps de temps écoulé entre deux enregistrements.
Une base de données E1 est ainsi construite. Elle contient un ensemble de positions de référence associées à des caractéristiques ou images au moment de l'initialisation. Elle est appelée base de relocalisation, car elle sert ensuite, pendant l'utilisation du dispositif à relocaliser celui-ci.
Le processus qui vient d'être décrit est illustré en figure 2. On y voit le repère R spatial de référence fixé en fonction de la première acquisition, divers obstacles O dans la zone d'opération Z. La base de données BD est construite par enregistrement d'images ou de points d'intérêt, dont les positions dans l'espace sont conservées. La base de données BD sera ensuite appelée base de données de relocalisation, et utilisée pour permettre au dispositif de se localiser dans l'espace pour une phase d'utilisation. Parallèlement, la carte de profondeur B1 et les paramètres du système stéréoscopique sont utilisés pour générer un nuage de points, en projetant chaque pixel de l'image afin d'obtenir des coordonnées de points dans l'espace. Les points dans l'espace subissent ensuite un changement de repère en utilisant les informations relatives à la position du casque dans l'espace issues du module C1 d'odométrie afin de placer tous les points captés au cours de la phase d'initialisation dans un repère commun fixe. Cela est mené par le module F1 .
Ces ensembles de points sont fusionnés au cours d'une opération G1 afin de créer un modèle dense (cartographie) de la zone d'opération tout en réduisant la quantité d'informations redondantes. Ce processus peut se faire par exemple en parcourant les ensembles de points et en fusionnant les points identifiés comme étant proches les uns des autres en fonction d'une distance ou encore en utilisant un volume de fonction de distance signée tronquée (Truncated Signed Distance Function -TSDF- Volume).
Une étape ultérieure H1 consiste à générer un maillage dans l'ensemble de points en trois dimensions. Ce maillage est constitué de triangles reliés, modélisant les surfaces de la zone d'opérations.
Lorsque l'utilisateur a parcouru toute la zone d'opérations, le modèle est interprété au cours d'une étape 11 afin d'extraire les zones libres et les obstacles. Le sol est identifié par le système, par exemple en approximant un plan sur le maillage par une méthode itérative ou encore en calculant les vecteurs des directions normales sur un sous-ensemble du maillage pour en déterminer l'orientation principale.
Les éléments visibles sont considérés comme obstacles en fonction de leurs tailles. Le seuil de taille utilisé est automatiquement affiné ou réglé par l'utilisateur.
On génère ainsi un graphe de traversabilité.
Il en résulte une carte d'obstacles J1 . Celle-ci peut ensuite servir lors des utilisations du système en phase de fonctionnement.
La figure 3 présente le dispositif en phase de fonctionnement et d'utilisation du casque. Le système recharge tout d'abord la cartographie.
Au démarrage, le système charge la carte des obstacles statiques de la zone d'opération. Puis il détermine sa position. Cela est représenté en figure 4. Pour cela, il fait correspondre les positions dans l'espace entre le monde réel instantané et le monde préalablement enregistré au cours de la phase d'initialisation.
À cette fin, l'utilisateur permet, sans pour autant avoir à se déplacer dans la zone d'opération, à son casque d'observer l'environnement, et de déterminer la carte de profondeur A2.
Une correspondance est cherchée pour les images courantes, en nombre limité (par exemple une seule image) issues de la caméra et les éléments de la base de données BD dite base de relocalisation E1 . Lorsqu'une correspondance visuelle est trouvée entre une observation courante et une entrée de la base, la position associée dans la base est extraite et utilisée, pour faire correspondre le repère R qui avait été utilisé lors de la phase d'initialisation, et le repère actuel R'. Il s'agit là d'une phase de démarrage du système. Il s'agit de faire le lien entre le repère de la carte d'obstacles J1 , calculée à la phase d'initialisation et le repère du casque dans l'environnement matériel courant. Si besoin, pour plus de précision, on utilise la distance entre les localisations repérées dans la base de données E1 . On peut aussi utiliser l'information de profondeur présente dans l'image courante visualisée par le casque. Une correction est appliquée en calculant la différence entre la position du casque actuelle et la position enregistrée, pour ainsi relocaliser le casque.
Après avoir initialisé cette position, le système lance les détections, qui sont représentée en figure 5. Deux fonctions sont mises en route : une détection statique F2 qui utilise la carte d'obstacles issue de la phase d'initialisation, pour indiquer à l'utilisateur tous les objets trop proches vers lesquels il se dirige, indépendamment de l'endroit ou regarde l'utilisateur ; et parallèlement une détection des obstacles dynamiques D2, capable de détecter tous les obstacles dans le champ de vision du système FOV, même s'ils n'étaient pas présent pendant la phase d'initialisation, comme typiquement une personne ou un animal traversant la zone d'opération.
À partir de moment, l'utilisateur peut se déplacer.
Le système suit, par une fonction d'odométhe B2, la position de l'utilisateur dans la carte d'obstacles J 1 afin de pouvoir déclencher une alerte s'il risque de rencontrer un obstacle. Deux systèmes de détections d'obstacle en phase d'utilisation sont ensuite utilisés simultanément, pendant que l'utilisateur est impliqué dans une expérience de réalité virtuelle.
Le premier système de détection d'obstacles D2 détecte les obstacles visibles par la caméra qui peuvent donc être dynamiques. Il se base pour déterminer la présence d'obstacles uniquement ou en premier lieu sur un nuage de points en trois dimensions courant C2, et éventuellement sur les informations d'odométrie B2.
Le nuage C2 courant est généré à partir de la carte de profondeur courante A2. Pour la détection de proximité d'obstacles, un seuil est fixé pouvant être une distance aux obstacles. Le système recherche alors par le module D2 des éléments du nuage de points dans une sphère de rayon ce seuil autour du joueur. Le seuil peut également être un temps en prenant en compte la direction et la vitesse du mouvement courant, donnés par le module d'odométrie B2, extrapolés pour évaluer la présence d'obstacles dans la trajectoire sur la base du nuage C2.
Lorsqu'une collision probable est détectée, une alerte E2 est déclenchée et un avertissement est lancé à l'utilisateur, par exemple en affichant l'obstacle en surimpression du contenu virtuel.
Cette prise en charge des obstacles dynamiques entrant dans le champ de vue FOV du casque est représenté en figure 5 par le repère D2.
Un deuxième système de détection d'obstacles F2 utilise la carte statique d'obstacles J1 , et la position dans l'espace obtenue par l'odométrie B2. À chaque instant, une nouvelle position obtenue par l'odométrie B2 est donnée et le système teste la position dans la carte d'obstacles J1 .
Deux modes de fonctionnement sont possibles.
Un premier mode détermine si des objets se trouvent dans un périmètre de sécurité de taille définie autour de l'utilisateur. Si au moins un objet est trouvé, le système détermine qu'il y a un danger et alerte l'utilisateur par un processus d'alerte G2.
Un deuxième mode utilise l'historique des positions afin d'en déduire un vecteur déplacement, et d'extrapoler la position future en faisant l'hypothèse que le mouvement sera constant localement. Le système est alors capable de déterminer si un obstacle est sur le chemin. En cas de détection d'un objet, un processus d'alerte G2 est déclenché pour avertir l'utilisateur.
Cette prise en charge des obstacles statiques pré-identifiés entrant ou n'entrant pas dans le champ de vue FOV du casque est représenté en figure 5 par le repère F2.
Les alertes peuvent être de plusieurs intensités et de différentes natures : son spatialisé, affichage en surimpression des obstacles, affichage d'une indication d'obstacles dans la direction concernée (flèches ou bordure de couleur par exemple). Il est également possible d'afficher un vue dit « à la troisième personne » de l'utilisateur avec l'environnement modélisé et les obstacles les plus proches.

Claims

REVENDICATIONS
1 . Dispositif individuel d'immersion visuelle pour personne en mouvement comprenant des moyens pour placer le dispositif sur la personne et pour afficher devant les yeux de la personne des images immersives, et comprenant également une caméra stéréoscopique, caractérisé en ce qu'il comprend - des moyens pour, au cours d'une phase d'initialisation du dispositif dans une zone d'opération comprenant des obstacles statiques, enregistrer (F1 ) des images stéréoscopiques de la zone d'opération sous plusieurs points de vue à l'aide de la caméra, puis fusionner (G1 ) lesdites images en un modèle de la zone d'opération, et interpréter (11 ) ledit modèle pour créer une carte en trois dimensions d'obstacles identifiés dans la zone d'opération,
- et des moyens pour, au cours d'une phase d'utilisation du dispositif dans la zone d'opération, le dispositif étant porté par un utilisateur, détecter (F2) si l'utilisateur s'approche d'un des obstacles statiques repérés dans ladite carte et déclencher (G2) alors un processus d'alerte.
2. Dispositif d'immersion visuelle selon la revendication 1 , caractérisé en ce que lesdites images sont fusionnées (G1 ) en un modèle de la zone d'opération en recherchant dans des images différentes des pixels correspondant à un même point de la zone d'opération, et en les fusionnant lesdits pixels pour ne pas introduire d'informations redondantes, ou du moins limiter les informations redondantes, dans le modèle.
3. Dispositif d'immersion visuelle selon la revendication 2, caractérisé en ce que les pixels correspondant à un même point de la zone d'opération sont identifiés à l'aide d'une distance ou à l'aide d'un volume de fonction de distance signée tronquée.
4. Dispositif d'immersion visuelle selon l'une des revendications 1 à 3, caractérisé en ce qu'un périmètre de sécurité défini autour de l'utilisateur ou une extrapolation d'une position future de l'utilisateur fondée sur une historique des positions de l'utilisateur est utilisé pour détecter (F2) si l'utilisateur s'approche d'un des obstacles statiques repérés dans ladite carte.
5. Dispositif d'immersion visuelle selon l'une des revendications 1 à 4, caractérisé en ce que la phase d'initialisation comprend la mémorisation (D1 ) d'images ou de caractéristiques visibles constituant des points d'intérêt associés à leurs positions respectives dans la zone d'opération, et la phase d'utilisation comprend une localisation (12) de l'utilisateur vis-à-vis de la carte à l'aide d'au moins un desdits points.
6. Dispositif d'immersion visuelle selon la revendication 5, caractérisé en ce que les points d'intérêt sont choisis en fonction d'un critère de recouvrement pour couvrir la zone d'opération en limitant les redondances, choisis sur instruction de l'utilisateur ou choisis régulièrement dans le temps au cours d'un déplacement du dispositif au cours de la phase d'initialisation.
7. Dispositif d'immersion visuelle selon l'une des revendications 1 à 6, caractérisé en ce que la caméra stéréoscopique comprend deux capteurs d'images et un moyen de calcul d'une information de disparité entre des images capturées par les deux capteurs de manière synchronisée.
8. Dispositif d'immersion visuelle selon l'une des revendications 1 à 7, caractérisé en ce qu'il comprend de plus des moyens pour, au cours de la phase d'utilisation du dispositif dans la zone d'opération, le dispositif étant porté par un utilisateur, capter des images stéréoscopiques correspondant à un champ de vision potentiel de l'utilisateur, analyser (D2) lesdites images correspondant au champ de vision potentiel pour détecter un éventuel obstacle supplémentaire dans celles-ci et, si l'utilisateur s'approche dudit éventuel obstacle supplémentaire déclencher (E2) alors un processus d'alerte.
9. Dispositif d'immersion visuelle selon la revendication 8, caractérisé en ce que les moyens pour analyser (D2) les images pour détecter un éventuel obstacle supplémentaire sont mis en œuvre simultanément aux moyens pour détecter (F2) si l'utilisateur s'approche d'un des obstacles statiques repérés dans la carte.
10. Dispositif d'immersion visuelle selon l'une des revendications 1 à 9, caractérisé en ce que le processus d'alerte comprend l'émission d'un son, un affichage d'une image d'obstacle en surimpression des images immersives si une telle surimpression est fondée spatialement, un affichage d'une indication symbolique d'obstacle avec une indication de la direction concernée, ou un affichage d'une représentation imagée de l'utilisateur et de l'obstacle en proximité l'un de l'autre.
PCT/FR2017/053029 2016-11-09 2017-11-06 Dispositif individuel d'immersion visuelle pour personne en mouvement avec gestion des obstacles WO2018087462A1 (fr)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US16/348,746 US20200012335A1 (en) 2016-11-09 2017-11-06 Individual visual immersion device for a moving person with management of obstacles

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR1660833A FR3058534B1 (fr) 2016-11-09 2016-11-09 Dispositif individuel d'immersion visuelle pour personne en mouvement avec gestion des obstacles
FR1660833 2016-11-09

Publications (1)

Publication Number Publication Date
WO2018087462A1 true WO2018087462A1 (fr) 2018-05-17

Family

ID=58314363

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/FR2017/053029 WO2018087462A1 (fr) 2016-11-09 2017-11-06 Dispositif individuel d'immersion visuelle pour personne en mouvement avec gestion des obstacles

Country Status (3)

Country Link
US (1) US20200012335A1 (fr)
FR (1) FR3058534B1 (fr)
WO (1) WO2018087462A1 (fr)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110262656A (zh) * 2019-05-22 2019-09-20 重庆文理学院 一种沉浸式全景虚拟现实系统

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10169973B2 (en) 2017-03-08 2019-01-01 International Business Machines Corporation Discontinuing display of virtual content and providing alerts based on hazardous physical obstructions
US10691945B2 (en) * 2017-07-14 2020-06-23 International Business Machines Corporation Altering virtual content based on the presence of hazardous physical obstructions
US11361513B2 (en) 2019-04-23 2022-06-14 Valve Corporation Head-mounted display with pass-through imaging
CN112819860B (zh) * 2021-02-18 2023-12-22 Oppo广东移动通信有限公司 视觉惯性系统初始化方法及装置、介质和电子设备
CN113259649B (zh) * 2021-05-06 2022-08-09 青岛小鸟看看科技有限公司 基于场景摄像头重定位的虚拟现实方法、系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060009702A1 (en) * 2004-04-30 2006-01-12 Olympus Corporation User support apparatus
WO2013052855A2 (fr) * 2011-10-07 2013-04-11 Google Inc. Ordinateur vêtement à réponse aux objets proches
US20140198017A1 (en) * 2013-01-12 2014-07-17 Mathew J. Lamb Wearable Behavior-Based Vision System
WO2015047775A1 (fr) * 2013-09-30 2015-04-02 Sony Computer Entertainment Inc. Mécanismes de sécurité basés sur une caméra pour les utilisateurs de visiocasques
US20160027212A1 (en) 2014-07-25 2016-01-28 Alexandre da Veiga Anti-trip when immersed in a virtual reality environment

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060009702A1 (en) * 2004-04-30 2006-01-12 Olympus Corporation User support apparatus
WO2013052855A2 (fr) * 2011-10-07 2013-04-11 Google Inc. Ordinateur vêtement à réponse aux objets proches
US20140198017A1 (en) * 2013-01-12 2014-07-17 Mathew J. Lamb Wearable Behavior-Based Vision System
WO2015047775A1 (fr) * 2013-09-30 2015-04-02 Sony Computer Entertainment Inc. Mécanismes de sécurité basés sur une caméra pour les utilisateurs de visiocasques
US20160027212A1 (en) 2014-07-25 2016-01-28 Alexandre da Veiga Anti-trip when immersed in a virtual reality environment

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110262656A (zh) * 2019-05-22 2019-09-20 重庆文理学院 一种沉浸式全景虚拟现实系统

Also Published As

Publication number Publication date
FR3058534B1 (fr) 2019-02-01
FR3058534A1 (fr) 2018-05-11
US20200012335A1 (en) 2020-01-09

Similar Documents

Publication Publication Date Title
WO2018087462A1 (fr) Dispositif individuel d'immersion visuelle pour personne en mouvement avec gestion des obstacles
US10685496B2 (en) Saving augmented realities
CN107920734B (zh) 视线检测方法和装置
CN103443743B (zh) 用于上下文知晓的增强交互的方法及设备
EP3140716B1 (fr) Équipement électronique portatif et procédé de commande d'équipement électronique portatif
US20130342568A1 (en) Low light scene augmentation
KR101530255B1 (ko) 객체 자동 추적 장치가 구비된 cctv 시스템
EP3252714A1 (fr) Sélection de caméra pour suivi de position
US11094074B2 (en) Identification of transparent objects from image discrepancies
US10748000B2 (en) Method, electronic device, and recording medium for notifying of surrounding situation information
CN109920048A (zh) 监控画面生成方法及装置
US10679376B2 (en) Determining a pose of a handheld object
CN112105983A (zh) 增强的视觉能力
KR20210016288A (ko) 컴퓨터 생성 렌더링 환경을 위한 시각적 검색 세분화
CN116137902A (zh) 用于红外光检测的计算机视觉相机
CN103793473A (zh) 保存增强现实
US11106949B2 (en) Action classification based on manipulated object movement
EP3038061A1 (fr) Appareil et procédé pour afficher des données de réalité augmentée
JP2016195323A (ja) 情報処理装置、情報処理方法、プログラム
US11410398B2 (en) Augmenting live images of a scene for occlusion
KR20210150881A (ko) 전자 장치 및 그 동작 방법
EP3547079B1 (fr) Présentation d'images sur un dispositif d'affichage
KR101918887B1 (ko) 모노 적외선 카메라를 이용한 거리 측정 장치 및 그 방법
US12003691B1 (en) Camera focus adjustment
CN114600162A (zh) 用于捕捉摄像机图像的场景锁定模式

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17804239

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17804239

Country of ref document: EP

Kind code of ref document: A1