WO2019138186A1 - Improved device and method for communicating sound information to a user in augmented reality - Google Patents

Improved device and method for communicating sound information to a user in augmented reality Download PDF

Info

Publication number
WO2019138186A1
WO2019138186A1 PCT/FR2019/050042 FR2019050042W WO2019138186A1 WO 2019138186 A1 WO2019138186 A1 WO 2019138186A1 FR 2019050042 W FR2019050042 W FR 2019050042W WO 2019138186 A1 WO2019138186 A1 WO 2019138186A1
Authority
WO
WIPO (PCT)
Prior art keywords
unit
user
orientation data
head
inertial
Prior art date
Application number
PCT/FR2019/050042
Other languages
French (fr)
Inventor
Arnaud LENGLET
Original Assignee
Esthesix
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from FR1850271 external-priority
Priority claimed from FR1850271A external-priority patent/FR3076709B1/en
Application filed by Esthesix filed Critical Esthesix
Publication of WO2019138186A1 publication Critical patent/WO2019138186A1/en

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F9/00—Methods or devices for treatment of the eyes; Devices for putting-in contact lenses; Devices to correct squinting; Apparatus to guide the blind; Protective devices for the eyes, carried on the body or in the hand
    • A61F9/08—Devices or methods enabling eye-patients to replace direct visual perception by another kind of perception
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B21/00—Teaching, or communicating with, the blind, deaf or mute
    • G09B21/001—Teaching or communicating with blind persons
    • G09B21/006—Teaching or communicating with blind persons using audible presentation of the information
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted

Abstract

Device (1) worn by a user to indicate sound information in augmented reality, comprising: an inertial head-worn unit (2) for being worn on the user's head and for generating orientation data (8) relating to the direction of the head; an image capturing device (201) for generating a captured image (202); a central processing unit (4) for: receiving the captured image, analyzing said image using a neural network (204) in order to recognize one or more objects (10) appearing in the image, generating a virtual space and placing a plurality of virtual sound sources therein for each of the recognized objects, receiving the orientation data, and determining a binaural signal (11) received at the user's ears resulting from sound emitted by the virtual sources that are placed in the virtual space oriented on the basis of the received orientation data, generating an audio signal (12) comprising the determined binaural signal; a listening unit (5) for rendering the generated audio signal and for being worn at least in part on said head.

Description

Dispositif et procédé améliorés de communication d’informations sonores à un utilisateur en réalité augmentée  Improved device and method for communicating sound information to a user in augmented reality
Domaine technique Technical area
L’invention se situe dans le domaine de la communication d’informations sonores à un utilisateur en réalité augmentée. The invention lies in the field of the communication of sound information to a user in augmented reality.
État de la technique antérieure State of the art
On connaît des dispositifs pour communiquer des informations visuelles à un utilisateur en réalité augmentée.  Devices are known for communicating visual information to a user in augmented reality.
Ces dispositifs ont pour inconvénient de nuire à la concentration visuelle de la personne et de ne pas pouvoir être utilisés par des personnes déficientes visuelles.  These devices have the disadvantage of impairing the visual concentration of the person and not being able to be used by visually impaired persons.
Exposé de l’invention Presentation of the invention
Un but de l’invention est notamment de remédier à tout ou partie des inconvénients précités.  An object of the invention is in particular to overcome all or part of the aforementioned drawbacks.
Selon un premier aspect de l’invention, il est proposé un dispositif convenant à être porté par un utilisateur et agencé pour indiquer des informations sonores en réalité augmentée à l’utilisateur, comportant :  According to a first aspect of the invention, there is provided a device suitable for being worn by a user and arranged to indicate sound information in augmented reality to the user, comprising:
- une centrale inertielle, dite de tête, agencée pour être portée par la tête de l’utilisateur et pour générer des données d’orientation relatives à la direction de la tête ;  an inertial unit, said head, arranged to be carried by the head of the user and to generate orientation data relating to the direction of the head;
- un dispositif de capture d’image agencé pour capturer des images et générer au moins une image capturée,  an image capture device arranged to capture images and generate at least one captured image,
- une unité centrale de traitement configurée pour :  a central processing unit configured for:
o recevoir l’au moins une image capturée  o receive the at least one captured image
o analyser ladite au moins une image capturée au moyen d’un réseau de neurones pour reconnaître un ou plusieurs objets apparaissant dans l’image,  o analyzing said at least one image captured by means of a neural network to recognize one or more objects appearing in the image,
o générer un espace virtuel et y placer une ou plusieurs sources sonores virtuelles pour chacun des un ou plusieurs objets reconnus,  o generate a virtual space and place one or more virtual sound sources for each of the one or more recognized objects,
o recevoir les données d’orientation, et o déterminer un signal binaural reçu au niveau des oreilles de l’utilisateur résultant d’une émission sonore par l’une ou plusieurs sources virtuelles placées dans l’espace virtuel orienté à partir des données d’orientation reçues, o receive orientation data, and o determining a binaural signal received at the level of the user's ears resulting from a sound emission by one or more virtual sources placed in the virtual space oriented from the orientation data received,
o générer un signal audio comportant le signal binaural déterminé,  o generating an audio signal comprising the determined binaural signal,
- une unité d’écoute agencée pour restituer le signal audio généré et destinée à être portée par la tête.  a listening unit arranged to reproduce the audio signal generated and intended to be carried by the head.
Aussi, l’utilisateur a la sensation que les objets reconnus génèrent des sons.  Also, the user has the feeling that recognized objects generate sounds.
Ceci peut être utilisé pour indiquer à une personne malvoyante qu’il se présente un escalier devant elle.  This can be used to indicate to a visually impaired person that there is a staircase in front of her.
L’objet reconnu par le réseau de neurones peut aussi être un objet virtuel. Par exemple, le réseau de neurones peut détecter une différence de niveau, par exemple dans le métro entre le quai et les rails, et créer un objet virtuel de danger positionné le long de la différence de niveau. La personne malvoyante peut alors être prévenue, par une source sonore placée sur l’objet virtuel, du danger auquel elle est confrontée.  The object recognized by the neural network can also be a virtual object. For example, the neural network can detect a difference in level, for example in the subway between the platform and the rails, and create a virtual danger object positioned along the level difference. The visually impaired person can then be warned, by a sound source placed on the virtual object, the danger she faces.
Par extension, l’objet reconnu par le réseau de neurones peut être un texte, un obstacle ou encore une personne.  By extension, the object recognized by the neural network can be a text, an obstacle or a person.
Selon une possibilité le dispositif de capture d’image peut comprendre une ou plusieurs caméras.  According to one possibility, the image capture device may comprise one or more cameras.
Les données d’orientation peuvent comprendre une ou plusieurs informations, notamment choisies parmi l’ensemble des angles de roulis, de tangage et de cap.  The orientation data may comprise one or more information items, chosen in particular from the set of angles of roll, pitch and heading.
Le réseau de neurones peut être de type YOLO (pour l’anglais You Only Look Once), pour la détection en temps réel d’objet. Le réseau de neurones YOLO exploite la puissance de l’apprentissage profond en intelligence artificielle (Deep Learning en anglais).  The neural network can be YOLO (for You Only Look Once), for real-time object detection. The YOLO neural network harnesses the power of deep learning in artificial intelligence (Deep Learning).
L’unité d’écoute peut être notamment un casque stéréo. The listening unit can be including a stereo headset.
De préférence, l’unité d’écoute comporte des écouteurs à conduction osseuse. L’intérêt de la conduction osseuse est de permettre une écoute ouverte, c’est-à-dire sans obstruer le conduit auditif. Il est avantageux de ne pas obstruer le conduit auditif, notamment pour des personnes malvoyantes. Bien entendu, plus généralement, l’unité d’écoute peut comporter des écouteurs « ouverts », c’est-à-dire des écouteurs qui n’obstruent pas le conduit auditif. Selon une possibilité, l’unité centrale est en outre configurée pour déterminer un signal haptique à partir des données d’orientation, le dispositif comportant en outre des moyens de vibration configurés pour générer ledit signal haptique. Preferably, the listening unit comprises bone conduction headphones. The advantage of bone conduction is to allow open listening, that is to say without obstructing the ear canal. It is advantageous not to obstruct the auditory canal, especially for the visually impaired. Of course, more generally, the listening unit may comprise "open" earphones, that is to say headphones that do not obstruct the ear canal. According to one possibility, the central unit is further configured to determine a haptic signal from the orientation data, the device further comprising vibration means configured to generate said haptic signal.
L’unité centrale peut être en outre configurée pour générer une pluralité de signaux haptiques distincts, par exemple des vibrations distinctes, en fonction de des données d’orientation, de leur évolution, ou d’un retraitement de ces données.  The CPU may further be configured to generate a plurality of distinct haptic signals, for example, separate vibrations, based on orientation data, their evolution, or reprocessing of these data.
On peut par extension parler de « grammaire haptique » implantée dans l’unité centrale et qui comporte un ensemble de règles prédéterminées, et/ou évolutives, visant à associer des vibrations, ou séquences de vibrations, en fonction de données d’orientation, de leurs évolutions, ou d’un retraitement de ces données.  By extension we can speak of "haptic grammar" implanted in the central unit and which includes a set of predetermined rules, and / or evolutionary, aiming at associating vibrations, or sequences of vibrations, according to data of orientation, of their evolution, or a reprocessing of these data.
De préférence, l’unité centrale peut être en outre configurée pour déterminer une évolution de la position de l’utilisateur entre une première et une deuxième position, et pour déterminer un signal binaural modifié à partir de ladite évolution entre les deux positions, l’unité centrale de traitement pouvant en outre être configurée pour générer le signal audio à partir du signal binaural déterminé modifié.  Preferably, the central unit may be further configured to determine an evolution of the user's position between a first and a second position, and to determine a modified binaural signal from said evolution between the two positions, the a central processing unit furthermore being configurable to generate the audio signal from the modified binaural signal modified.
Avantageusement, l’unité centrale peut en outre être configurée pour déterminer le signal binaural modifié à partir d’une part du signal binaural déterminé dans la première position et d’autre part d’une amplification de l’évolution de la position de l’utilisateur entre les deux positions. Ainsi, l’utilisateur peut être rapidement réconforté ou contredit dans ses choix de déplacements par une amplification des variations de signaux binauraux entre deux déplacements.  Advantageously, the central unit can also be configured to determine the modified binaural signal from the binaural signal determined in the first position and the amplification of the evolution of the position of the binaural signal. user between the two positions. Thus, the user can be quickly comforted or contradicted in his choice of movements by an amplification of the binaural signal variations between two displacements.
Selon un mode de réalisation avantageux, le signal audio peut en outre comprendre un signal d’indication de la proximité d'un objet d’intérêt avec un objet reconnu. Le signal d’indication peut être un signal audio, qui peut être généré par l’unité centrale, par exemple à partir de l’objet d’intérêt dans l’image capturée. L’objet d’intérêt peut avantageusement être la main de l’utilisateur. Cela permet d’aider l’utilisateur à rapprocher sa main de l’objet reconnu, par exemple au moyen d’indication verbale de type « chaud-froid » ou encore d’un son prédéterminé, notamment un son dont le volume augmente avec la diminution de la distance entre la main de l’utilisateur et l’objet reconnu.  According to an advantageous embodiment, the audio signal may further comprise a signal indicating the proximity of an object of interest with a recognized object. The indication signal may be an audio signal, which may be generated by the central unit, for example from the object of interest in the captured image. The object of interest can advantageously be the hand of the user. This makes it possible to help the user to bring his hand closer to the recognized object, for example by means of verbal indication of "hot-cold" type or of a predetermined sound, notably a sound whose volume increases with the decreasing the distance between the user's hand and the recognized object.
Avantageusement, l’unité centrale peut en outre être configurée pour déterminer des instructions vocales à partir des données d’orientation reçues et des un ou plusieurs objets reconnus, et pour ajouter les instructions vocales déterminées au signal audio. Des instructions vocales peuvent être du type « à 13 heures » ou encore « à 6 heures ». Les instructions vocales peuvent permettre de lever le doute sur la localisation de la source sonore virtuelle, et donc du cap, lorsque celle-ci est exactement devant, ou exactement derrière l'utilisateur. Les instructions vocales améliorent encore le guidage de l'utilisateur. Advantageously, the central unit can also be configured to determine voice instructions from the orientation data received and one or more recognized objects, and to add the determined voice instructions to audio signal. Voice prompts can be "13 o'clock" or "6 o'clock" type. The voice prompts can remove the doubt about the location of the virtual sound source, and therefore the heading, when it is exactly in front of, or exactly behind the user. The voice prompts further improve the user's guidance.
Préférablement, le dispositif peut comporter en outre une centrale inertielle, dite de cou, agencée pour être portée au niveau du cou de l’utilisateur et générer des données d’orientations, la centrale inertielle de tête étant en outre configurée pour générer des données d’orientation et la centrale inertielle de cou étant en outre configurée pour générer des données d’orientation.  Preferably, the device may furthermore comprise an inertial unit, called a neck unit, arranged to be worn at the level of the user's neck and generate orientation data, the head inertial unit being furthermore configured to generate data from the user. orientation and the inertial neck unit being further configured to generate orientation data.
Avantageusement, l’unité centrale de traitement peut être en outre configurée pour :  Advantageously, the central processing unit can be further configured to:
- synchroniser la boussole de la centrale inertielle de tête et la boussole de la centrale inertielle de cou et déterminer un coefficient de rectification,  - synchronize the compass of the head inertial unit and the compass of the inertial neck unit and determine a correction coefficient,
- rectifier, à partir dudit coefficient de rectification, les données d’orientations générées par la centrale inertielle de tête et les données d’orientations générées par la centrale inertielle de cou, pour déterminer, respectivement, les données d’orientations de la centrale inertielle de tête et les données d’orientations de la centrale inertielle de cou.  - rectifying, from said coefficient of rectification, the orientation data generated by the head inertial unit and the orientation data generated by the inertial unit of neck, to determine, respectively, the orientation data of the inertial unit. head and orientation data of the inertial neck unit.
La synchronisation peut commencer par une phase de calibration de la centrale inertielle de tête.  Synchronization can begin with a calibration phase of the inertial head unit.
L'utilisateur peut se voire demander d’effectuer un mouvement particulier de tête, puis de rester immobile pendant quelques secondes. Le nord magnétique peut ainsi être trouvé (et stabilisé) par la centrale inertielle de tête.  The user can ask himself to perform a particular movement of head, then to remain still for a few seconds. Magnetic north can thus be found (and stabilized) by the head inertial unit.
Lorsque que le nord magnétique est stabilisé, la centrale inertielle de cou peut être synchronisée sur cette valeur. De cette façon, les deux centrales inertielles peuvent disposer du même nord de référence.  When magnetic north is stabilized, the inertial neck unit can be synchronized to this value. In this way, the two inertial units can have the same reference north.
Au cours de l'utilisation, la centrale inertielle du cou peut devenir la centrale inertielle de référence. Lors d'une indication de direction donnée par la centrale inertielle de tête, celle-ci peut être corrigée en ajoutant/soustrayant la différence entre le nord indiqué par la centrale inertielle de cou, et le nord indiqué par la centrale inertielle de tête. Selon une possibilité avantageuse, l’unité centrale est agencée pour être portée par l’utilisateur. During use, the inertial unit of the neck can become the reference inertial unit. When an indication of direction is given by the head inertial unit, this can be corrected by adding / subtracting the difference between the north indicated by the inertial neck unit, and the north indicated by the head inertial unit. According to an advantageous possibility, the central unit is arranged to be worn by the user.
Selon une autre possibilité, l’unité centrale est disposée à distance de l’utilisateur. Le dispositif comporte alors des moyens de communication des données de position générées par la centrale inertielle de tête— éventuellement des données de position générées par centrale inertielle de cou— à destination de l’unité centrale et des moyens de communication du signal audio généré par l’unité centrale à destination de l’unité d’écoute.  According to another possibility, the central unit is arranged at a distance from the user. The device then comprises means for communicating the position data generated by the head inertial unit, possibly position data generated by the inertial central unit to the central unit, and means for communicating the audio signal generated by the central unit. central unit to the listening unit.
On comprend qu’il est aussi possible que le dispositif selon l’invention comporte deux, ou plus unités, centrale inertielle de tête, chacune étant destinée à être portée par un utilisateur et deux unités d’écoute, chacune étant destinée à être portée par l’un des utilisateurs, l’unité centrale étant configurée pour générer différents signaux audio à destination des différents utilisateurs.  It is understood that it is also possible that the device according to the invention comprises two or more units, inertial head unit, each being intended to be worn by a user and two listening units, each being intended to be worn by one of the users, the central unit being configured to generate different audio signals for different users.
L’unité de positionnement géographique peut par exemple être un module de réception GPS, un module GALILEO ou encore un module GLONASS.  The geographical positioning unit may for example be a GPS reception module, a GALILEO module or a GLONASS module.
Selon un deuxième aspect de l’invention, il est proposé un procédé d’indication d’informations sonores en réalité augmentée à un utilisateur, comportant :  According to a second aspect of the invention, there is provided a method of indicating sound information in augmented reality to a user, comprising:
- une génération de données d’orientation par une centrale inertielle, dite de tête, agencée pour être portée par la tête de l’utilisateur et pour générer des données d’orientation relatives à la direction de la tête,  a generation of orientation data by an inertial unit, said head, arranged to be carried by the head of the user and to generate orientation data relating to the direction of the head,
- une capture par un dispositif de capture d’image d’au moins une image capturée, a capture by an image capture device of at least one captured image,
- une réception par un réseau de neurones de l’au moins une image capturée,a reception by a neural network of the at least one captured image,
- une analyse par le réseau de neurones de l’au moins une image reçue pour reconnaître un ou plusieurs objets apparaissant dans l’image, an analysis by the neural network of the at least one image received to recognize one or more objects appearing in the image,
- un placement dans un espace virtuel, par l’unité centrale de traitement, d’une ou plusieurs sources sonores virtuelles pour chacun des un ou plusieurs objets reconnus,  a placement in a virtual space, by the central processing unit, of one or more virtual sound sources for each of the one or more recognized objects,
- une réception des données d’orientation par l’unité centrale de traitement,  - reception of the orientation data by the central processing unit,
- une détermination, par l’unité centrale de traitement, d’un signal binaural reçu au niveau des oreilles de l’utilisateur résultant d’une émission sonore par les une ou plusieurs sources virtuelles, placées dans l’espace virtuel orienté à partir des données d’orientation reçues, - une génération, par l’unité centrale de traitement, d’un signal audio, comportant le signal binaural déterminé, a determination, by the central processing unit, of a binaural signal received at the level of the user's ears resulting from a sound emission by the one or more virtual sources, placed in the virtual space oriented on the basis of guidance data received, a generation, by the central processing unit, of an audio signal comprising the determined binaural signal,
- une restitution, par une unité d’écoute destinée à être portée par la tête, du signal audio généré.  a reproduction, by a listening unit intended to be carried by the head, of the audio signal generated.
Selon un mode de réalisation, le procédé peut comporter une détermination par l’unité centrale d’un signal haptique à partir des données d’orientation et une génération dudit signal haptique à partir de moyens de vibration.  According to one embodiment, the method may comprise a determination by the central unit of a haptic signal from the orientation data and a generation of said haptic signal from vibration means.
De préférence, le procédé peut comporter en outre une détermination par l’unité centrale d’une évolution de la position de l’utilisateur entre une première et une deuxième position, et une modification par l’unité centrale du signal binaural déterminé à partir de ladite évolution entre les deux positions, la génération par l’unité centrale de traitement comportant le signal binaural déterminé modifié.  Preferably, the method may further comprise a determination by the central unit of an evolution of the position of the user between a first and a second position, and a modification by the central unit of the binaural signal determined from said evolution between the two positions, the generation by the central processing unit comprising the modified binaural signal modified.
Avantageusement, le signal binaural modifié peut être déterminé à partir d’une part du signal binaural déterminé dans la première position et d’autre part d’une amplification de l’évolution de la position de l’utilisateur entre les deux positions. Ainsi, l’utilisateur peut être rapidement réconforté ou contredit dans ses choix de déplacements par une amplification des variations de signaux binauraux entre deux déplacements.  Advantageously, the modified binaural signal can be determined on the one hand from the binaural signal determined in the first position and on the other hand from an amplification of the evolution of the position of the user between the two positions. Thus, the user can be quickly comforted or contradicted in his choice of movements by an amplification of the binaural signal variations between two displacements.
Dans un mode de réalisation préféré du procédé d’indication d’informations sonores en réalité augmentée, l’unité de traitement peut en outre être configurée pour générer le son binaural à partir d’au moins un paramètre décrivant une caractéristique physique de la boîte crânienne et/ou de l’une et/ou deux des oreilles de l’utilisateur. On peut par exemple utiliser des fonctions de transfert HRTF (pour l’anglais Head Related Transfer Function).  In a preferred embodiment of the augmented reality sound information indication method, the processing unit may further be configured to generate the binaural sound from at least one parameter describing a physical characteristic of the cranial box. and / or one and / or two of the user's ears. For example, it is possible to use HRTF transfer functions (for the English Head Related Transfer Function).
Le procédé peut en outre mettre en œuvre une centrale inertielle, dite de cou, agencée pour être portée au niveau du cou de l’utilisateur et générer des données d’orientations.  The method can further implement an inertial unit, called neck, arranged to be worn at the neck of the user and generate orientation data.
Le procédé peut comporter en outre une génération de données d’orientation par la centrale inertielle de tête et une génération de données d’orientation par la centrale inertielle de cou, l’unité centrale de traitement étant en outre configurée pour :  The method may further comprise generation of orientation data by the head inertial unit and generation of orientation data by the inertial head unit, the central processing unit being further configured to:
- synchroniser la boussole de la centrale inertielle de tête et la boussole de la centrale inertielle de cou et déterminer un coefficient de rectification, - rectifier, à partir dudit coefficient de rectification, les données d’orientations générées par la centrale inertielle de tête et les données d’orientations générées par la centrale inertielle de cou, pour déterminer, respectivement, les données d’orientations de la centrale inertielle de tête et les données d’orientations de la centrale inertielle de cou. - synchronize the compass of the head inertial unit and the compass of the inertial neck unit and determine a correction coefficient, - rectifying, from said coefficient of rectification, the orientation data generated by the head inertial unit and the orientation data generated by the inertial unit of neck, to determine, respectively, the orientation data of the inertial unit. head and orientation data of the inertial neck unit.
Avantageusement, le procédé d’indication d’informations sonores en réalité augmentée peut en outre comporter un ajout d’instructions vocales au signal audio par l’unité centrale.  Advantageously, the augmented reality sound information indication method may further comprise adding voice instructions to the audio signal by the central unit.
Selon une possibilité, le procédé d’indication d’informations sonores peut comprendre une étape de nouvelle restitution par l’unité d’écoute des dernières instructions vocales et/ou du denier signal audio généré. L’étape de nouvelle restitution peut être déclenchée par appui d’un utilisateur sur une partie prédéterminée de l’unité d’écoute ou d’un dispositif fonctionnellement raccordé à l’unité d’écoute, par exemple un écran tactile d’un téléphone portable. C'est un mécanisme qui rend l'utilisateur décideur du moment auquel l'information lui est à nouveau donnée, ce qui tend ainsi à limiter la fatigue cognitive.  According to one possibility, the sound information indication method may comprise a step of restitution by the listening unit of the last voice instructions and / or the last audio signal generated. The restitution step may be triggered by a user pressing a predetermined part of the listening unit or a device operatively connected to the listening unit, for example a touch screen of a telephone portable. It is a mechanism that makes the user decision-maker when the information is given again, which tends to limit cognitive fatigue.
Selon un troisième aspect de l’invention, il est proposé un produit programme d’ordinateur, téléchargeable depuis un réseau de communication et/ou stocké sur un support lisible par ordinateur et/ou exécutable par un microprocesseur, et chargeable dans une mémoire interne d’une unité de calcul, comportant des instructions de code de programme qui, lorsqu’elles sont exécutées par l’unité de calcul, mettent en œuvre les étapes d’un procédé selon le deuxième aspect de l’invention, ou l’un ou plusieurs de ses perfectionnements.  According to a third aspect of the invention, there is provided a computer program product, downloadable from a communication network and / or stored on a computer readable medium and / or executable by a microprocessor, and loadable in an internal memory. a calculation unit, comprising program code instructions which, when executed by the computing unit, implement the steps of a method according to the second aspect of the invention, or one or many of his improvements.
Description des figures Description of figures
D’autres avantages et particularités de l’invention apparaîtront à la lecture de la description détaillée de mises en œuvre et de modes de réalisation nullement limitatifs, au regard de dessins annexés sur lesquels :  Other advantages and particularities of the invention will appear on reading the detailed description of implementations and non-limiting embodiments, with reference to the attached drawings, in which:
La figure 1 représente schématiquement, un mode de réalisation d’un dispositif selon l’invention ;  Figure 1 shows schematically an embodiment of a device according to the invention;
La figure 2 représente schématiquement un détail de deux étapes d’un mode de réalisation d’un procédé selon l’invention. Description de mode de réalisation Figure 2 schematically shows a detail of two steps of an embodiment of a method according to the invention. Description of embodiment
Les modes de réalisation décrits ci-après n’étant nullement limitatifs, on pourra notamment considérer des variantes de l’invention ne comprenant qu’une sélection de caractéristiques décrites, par la suite isolées des autres caractéristiques décrites, si cette sélection de caractéristiques est suffisante pour conférer un avantage technique ou pour différencier l’invention par rapport à l’état de la technique antérieure. Cette sélection comprend au moins une caractéristique, de préférence fonctionnelle sans détails structurels, ou avec seulement une partie des détails structurels si cette partie uniquement est suffisante pour conférer un avantage technique ou pour différencier l’invention par rapport à l’état de la technique antérieure. The embodiments described hereinafter being in no way limiting, it will be possible in particular to consider variants of the invention comprising only a selection of characteristics described, subsequently isolated from the other characteristics described, if this selection of characteristics is sufficient. to confer a technical advantage or to differentiate the invention from the state of the prior art. This selection comprises at least one characteristic, preferably functional without structural details, or with only a part of the structural details if this part alone is sufficient to confer a technical advantage or to differentiate the invention from the state of the prior art .
Bien entendu l'invention n'est pas limitée au(x) mode(s) de mise en œuvre décrit(s) et on peut y apporter des variantes de réalisation sans sortir du cadre de l'invention tel que défini par les revendications.  Naturally, the invention is not limited to the mode (s) of implementation described (s) and can be made variants without departing from the scope of the invention as defined by the claims.
Sur les figures, un élément apparaissant sur plusieurs figures conserve la même référence.  In the figures, an element appearing in several figures retains the same reference.
En référence aux Figures 1 et 2, il est maintenant décrit en même temps un mode de réalisation d’un dispositif 1 selon l’invention et un procédé 100 d’indication d’informations sonores en réalité augmentée à un utilisateur.  With reference to Figures 1 and 2, there is now described at the same time an embodiment of a device 1 according to the invention and a method 100 for indicating sound information actually augmented to a user.
Le dispositif 1 comporte :  The device 1 comprises:
- une centrale inertielle 2, dite de tête, agencée pour être portée au niveau de la tête de l’utilisateur ;  an inertial unit 2, called the head unit, arranged to be carried at the level of the user's head;
- un dispositif de capture d’image 201 agencé pour capturer des images et générer au moins une image capturée 202 ;  an image capture device 201 arranged to capture images and generate at least one captured image 202;
- un réseau de neurones 204 pour reconnaître un ou plusieurs objets 10 apparaissant dans l’image capturée 202 ;  a neural network 204 for recognizing one or more objects appearing in the captured image 202;
- une centrale inertielle 3, dite de cou, agencée pour être portée au niveau du cou de l’utilisateur ;  - An inertial unit 3, called neck, arranged to be worn at the neck of the user;
- une unité centrale de traitement 4, ici un microprocesseur d’un smartphone, portée par l’utilisateur ;  a central processing unit 4, here a microprocessor of a smartphone, worn by the user;
- une unité d’écoute 5, qui dans le mode de réalisation particulier comporte un amplificateur 6 et des écouteurs 7 à conduction osseuse. Le procédé 100 comporte : a listening unit 5, which in the particular embodiment comprises an amplifier 6 and earphones 7 with bone conduction. The method 100 comprises:
- une génération 102 de données d’orientation 8 relatives à la direction de la tête par la centrale inertielle 2 de tête,  a generation 102 of orientation data 8 relating to the direction of the head by the inertial unit 2 of the head,
- une capture 301 par le dispositif de capture d’image 201 de l’image capturée 202, a capture 301 by the image capture device 201 of the captured image 202,
- une réception 302 par le réseau de neurones 204 de l’au moins une image capturéea reception 302 by the neuron network 204 of the at least one captured image
202, 202,
- une analyse 303 par le réseau de neurones 204 de l’au moins une image reçue pour reconnaître un ou plusieurs objets 10 apparaissant dans l’image,  an analysis 303 by the neural network 204 of the at least one image received to recognize one or more objects 10 appearing in the image,
- un placement 106 dans un espace virtuel, par l’unité centrale de traitement 4, d’une ou plusieurs sources sonores virtuelles pour chacun des un ou plusieurs objets reconnus,  a placement 106 in a virtual space, by the central processing unit 4, of one or more virtual sound sources for each of the one or more recognized objects,
- une réception 108 des données d’orientation par l’unité centrale de traitement, a reception 108 of the orientation data by the central processing unit,
- une détermination 112, par l’unité centrale de traitement, d’un signal binaural 11 reçu au niveau des oreilles de l’utilisateur résultant d’une émission sonore par les sources virtuelles, placées dans l’espace virtuel orienté à partir des données d’orientation reçues, a determination 112, by the central processing unit, of a binaural signal 11 received at the level of the user's ears resulting from a sound emission by the virtual sources, placed in the virtual space oriented from the data guidance received,
- une génération 104 de données d’orientation 9 par la centrale inertielle 3 de cou, a generation 104 of orientation data 9 by the inertial unit 3 of the neck,
- une réception 110, par l’unité centrale de traitement 4, des données d’orientation 9, a reception 110, by the central processing unit 4, of the orientation data 9,
- une détermination 112, par ladite unité centrale de traitement 4, d’un signal binaural 11 résultant d’une émission sonore par la source virtuelle 10, reçu au niveau des oreilles de l’utilisateur et à partir desdites données d’orientation reçues 8 et 9, a determination 112, by said central processing unit 4, of a binaural signal 11 resulting from a sound emission by the virtual source 10, received at the level of the user's ears and from said received orientation data 8 and 9,
- une génération 114, par ladite unité centrale de traitement 4, d’un signal audio 12, comportant le signal binaural 11 déterminé, a generation 114, by said central processing unit 4, of an audio signal 12, comprising the binaural signal 11 determined,
- une amplification 116, par l’amplificateur 6, du signal audio 12 généré,  an amplification 116, by the amplifier 6, of the audio signal 12 generated,
- une restitution 118, par les écouteurs 7, dudit signal audio amplifié.  a reproduction 118, by the headphones 7, of said amplified audio signal.
Dans le mode de réalisation du dispositif 1 , l’unité de traitement 4 est en outre configurée pour générer le son binaural 11 à partir d’au moins un paramètre décrivant une caractéristique physique de la boîte crânienne et/ou de l’une et/ou deux des oreilles de l’utilisateur. Dans le mode de réalisation du dispositif 1 , l’unité de traitement 4 est en outre configurée pour déterminer un signal haptique à partir des données d’orientation. Le dispositif 1 comporte en outre des moyens de vibration (non représentés) et configurés pour générer ledit signal haptique. In the embodiment of the device 1, the processing unit 4 is furthermore configured to generate the binaural sound 11 from at least one parameter describing a physical characteristic of the cranial box and / or of the one and / or or two of the user's ears. In the embodiment of the device 1, the processing unit 4 is further configured to determine a haptic signal from the orientation data. The device 1 further comprises vibration means (not shown) and configured to generate said haptic signal.
Par exemple, il peut exister un vibrateur porté sur le côté gauche de l’utilisateur et un vibrateur porté sur le côté droit de l’utilisateur.  For example, there may be a vibrator worn on the left side of the user and a vibrator worn on the right side of the user.
Lorsque la direction est situé plus à gauche que les données d’orientation, l’unité centrale peut être configurée pour mettre en vibration le vibrateur disposé du côté gauche de l’utilisateur.  When the direction is located further left than the orientation data, the central unit can be configured to vibrate the vibrator disposed on the left side of the user.
Lorsque la direction est située plus à droite que les données d’orientation, l’unité centrale peut être configurée pour mettre en vibration le vibrateur disposé du côté droit de l’utilisateur.  When the direction is located further to the right than the orientation data, the central unit can be configured to vibrate the vibrator disposed on the right side of the user.
En référence à la figure 2, il est maintenant décrit plus précisément les deux sous- étapes 102 et 104 de génération de données d’orientations 8 et 9 par la centrale inertielle 2 de tête et la centrale inertielle 3 de cou. With reference to FIG. 2, the two sub-steps 102 and 104 for generating orientation data 8 and 9 are now more precisely described by the head inertial unit 2 and the inertial unit 3 of the neck.
Les sous-étapes 102 et 104 de génération des données d’orientations 8 et 9 comprennent :  Substeps 102 and 104 for generating the orientation data 8 and 9 include:
- une génération 102’ de données d’orientation 8’ par la centrale inertielle 2 de tête, a generation 102 'of orientation data 8' by the inertial unit 2 of the head,
- une génération 104’ de données d’orientation 9’ par la centrale inertielle de cou,a generation 104 'of orientation data 9' by the inertial neck unit,
- une synchronisation 120 de la boussole de la centrale inertielle 2 de tête et de la boussole de la centrale inertielle 3 de cou et une détermination d’un coefficient de rectification 13, a synchronization 120 of the compass of the head inertial unit 2 and of the compass of the neck inertial unit 3 and a determination of a correction coefficient 13,
- une rectification 140, à partir coefficient de rectification 13, des données d’orientations 8’ générées par la centrale inertielle 2 de tête et des données d’orientations 9’ générées par la centrale inertielle 3 de cou, pour déterminer, respectivement, les données d’orientations 8 de la centrale inertielle 2 de tête et les données d’orientations 9 de la centrale inertielle 3 de cou.  a rectification 140, from the rectification coefficient 13, of the orientation data 8 'generated by the head inertial unit 2 and the orientation data 9' generated by the inertial unit 3 of the neck, to determine, respectively, the orientation data 8 of the head 2 inertial unit and the orientation data 9 of the inertial unit 3 neck.
Par ailleurs, le procédé peut comporter une étape de détermination d’une évolution de la position de l’utilisateur, et une modification du signal binaural déterminé en fonction de ladite évolution, la génération par l’unité centrale de traitement comportant le signal binaural déterminé modifié. Lorsque l’utilisateur se déplace entre une première et une deuxième position, il existe une différence entre un signal binaural SP1 résultant d’une émission sonore par ladite source virtuelle, reçu au niveau des oreilles de l’utilisateur et à partir desdites données d’orientation reçues au niveau de la première position, et un signal binaural SP2 résultant d’une émission sonore par ladite source virtuelle, reçu au niveau des oreilles de l’utilisateur et à partir desdites données d’orientation reçues au niveau de la deuxième position. Furthermore, the method may comprise a step of determining an evolution of the position of the user, and a modification of the binaural signal determined according to said evolution, the generation by the central processing unit comprising the determined binaural signal amended. When the user moves between a first and a second position, there is a difference between a binaural signal SP1 resulting from a sound emission by said virtual source, received at the level of the user's ears and from said data of orientation received at the first position, and a binaural signal SP2 resulting from a sound emission by said virtual source, received at the level of the user's ears and from said orientation data received at the second position.
Toutefois, on comprend que si l’utilisateur ne se déplace que d’un mètre alors que le cap indiqué est virtuellement placé à 1 km de l’utilisateur, la différence entre le signal binaural SP1 et SP2 ne sera que très faible, et ne sera peut-être pas perceptible par tout utilisateur, surtout un utilisateur malentendant.  However, it is understood that if the user moves only one meter while the indicated heading is virtually placed 1 km from the user, the difference between the binaural signal SP1 and SP2 will be very small, and not may not be perceptible to any user, especially a hard-of-hearing user.
Pour améliorer le fonctionnement du dispositif, il est proposé de déformer le signal SP2 en fonction de l’évolution de la position de l’utilisateur.  To improve the operation of the device, it is proposed to deform the signal SP2 as a function of the evolution of the position of the user.
Par exemple, si l’utilisateur se déplace d’un mètre selon la bonne direction, le signal SP2 sera modifié de sorte qu’il soit celui qui résulterait d’un déplacement correct de 10 mètres dans la bonne direction. Ceci peut être directement déterminé par l’unité centrale.  For example, if the user moves one meter in the right direction, the SP2 signal will be changed so that it is the one that would result from a correct move of 10 meters in the right direction. This can be directly determined by the central unit.
A contrario, si l’utilisateur se déplace d’un mètre selon la mauvaise direction, le signal SP2 sera modifié de sorte qu’il soit celui qui résulterait d’un déplacement incorrect de 10 mètres dans une mauvaise direction. Ceci peut être directement déterminé par l’unité centrale.  Conversely, if the user moves a meter in the wrong direction, the SP2 signal will be changed so that it is the one that would result from an incorrect move of 10 meters in the wrong direction. This can be directly determined by the central unit.
Ainsi, l’utilisateur peut être rapidement réconforté ou contredit dans ses choix de déplacements par une amplification des variations de signaux binauraux entre deux déplacements.  Thus, the user can be quickly comforted or contradicted in his choice of movements by an amplification of the binaural signal variations between two displacements.
Bien sûr, l’invention n’est pas limitée aux exemples qui viennent d’être décrits et de nombreux aménagements peuvent être apportés à ces exemples sans sortir du cadre de l’invention. De plus, les différentes caractéristiques, formes, variantes et modes de réalisation de l’invention peuvent être associés les uns avec les autres selon diverses combinaisons dans la mesure où ils ne sont pas incompatibles ou exclusifs les uns des autres.  Of course, the invention is not limited to the examples that have just been described and many adjustments can be made to these examples without departing from the scope of the invention. In addition, the various features, shapes, variants and embodiments of the invention may be associated with each other in various combinations to the extent that they are not incompatible or exclusive of each other.

Claims

Revendications claims
1. Dispositif (1 ) convenant à être porté par un utilisateur et agencé pour indiquer des informations sonores en réalité augmentée audit utilisateur, comportant : Device (1) suitable for being worn by a user and arranged to indicate augmented reality sound information to said user, comprising:
o une centrale inertielle (2), dite de tête, agencée pour être portée par la tête dudit utilisateur et pour générer des données d’orientation (8) relatives à la direction de ladite tête ;  o an inertial unit (2), said head, arranged to be carried by the head of said user and to generate orientation data (8) relative to the direction of said head;
o un dispositif de capture d’image (201 ) agencé pour capturer des  an image capture device (201) arranged to capture
images et générer au moins une image capturée (202),  images and generating at least one captured image (202),
o une unité centrale de traitement (4) configurée pour :  a central processing unit (4) configured to:
■ recevoir l’au moins une image capturée, ■ receive the at least one captured image,
■ analyser ladite au moins une image capturée au moyen d’un réseau de neurones (204) pour reconnaître un ou plusieurs objets (10) apparaissant dans l’image, ■ analyzing said at least one image captured by means of a neural network (204) for recognizing one or more objects (10) appearing in the image,
■ générer un espace virtuel et y placer une ou plusieurs sources sonores virtuelles pour chacun desdits un ou plusieurs objets reconnus, ■ generate a virtual space and place one or more virtual sound sources for each of said one or more recognized objects,
■ recevoir lesdites données d’orientation, et ■ receive said orientation data, and
■ déterminer un signal binaural (11 ) reçu au niveau des oreilles de l’utilisateur résultant d’une émission sonore par ladite une ou plusieurs sources virtuelles placées dans l’espace virtuel orienté à partir desdites données d’orientation reçues, ■ determining a binaural signal (11) received at the user's ears caused by a sound broadcast by said one or more virtual sources placed in virtual space oriented from said orientation data received,
■ générer un signal audio (12), comportant le signal binaural ■ generating an audio signal (12), comprising the binaural signal
déterminé,  determined,
o une unité d’écoute (5) agencée pour restituer le signal audio généré et destinée à être portée au moins en partie par ladite tête.  o a listening unit (5) arranged to reproduce the audio signal generated and intended to be carried at least in part by said head.
2. Dispositif selon la revendication précédente, dans lequel l’unité centrale de traitement est en outre configurée pour déterminer un signal haptique à partir des données d’orientation, le dispositif comportant en outre des moyens de vibration configurés pour générer ledit signal haptique. 2. Device according to the preceding claim, wherein the central processing unit is further configured to determine a haptic signal from the orientation data, the device further comprising vibration means configured to generate said haptic signal.
3. Dispositif selon l’une quelconque des revendications précédentes, dans lequel l’unité centrale de traitement est en outre configurée pour déterminer une évolution de la position de l’utilisateur entre une première et une deuxième position, et pour déterminer un signal binaural modifié à partir de ladite évolution entre les deux positions, l’unité centrale de traitement étant en outre configurée pour générer le signal audio à partir du signal binaural déterminé modifié. Apparatus according to any one of the preceding claims, wherein the central processing unit is further configured to determine an evolution of the user's position between a first and a second position, and to determine a modified binaural signal. from said evolution between the two positions, the central processing unit being further configured to generate the audio signal from the modified binaural signal modified.
4. Dispositif selon la revendication précédente, dans laquelle le signal audio comprend en outre un signal d’indication de la proximité d’un objet d’intérêt avec un objet reconnu. 4. Device according to the preceding claim, wherein the audio signal further comprises a signal indicating the proximity of an object of interest with a recognized object.
5. Dispositif selon l’une quelconque des revendications précédentes, dans lequel l’unité centrale (4) est en outre configurée pour déterminer des instructions vocales à partir des données d’orientation reçues (8) et des un ou plusieurs objets reconnus, et pour ajouter lesdites instructions vocales déterminées au signal audio (12). Apparatus according to any one of the preceding claims, wherein the central unit (4) is further configured to determine voice instructions from the received orientation data (8) and one or more recognized objects, and to add said determined voice instructions to the audio signal (12).
6. Dispositif selon l’une quelconque des revendications précédentes, dans lequel l’unité d’écoute (5) comporte des écouteurs (7) à conduction osseuse. 6. Device according to any one of the preceding claims, wherein the listening unit (5) comprises earphones (7) with bone conduction.
7. Dispositif selon l’une quelconque des revendications précédentes de procédé, comportant en outre centrale inertielle (3), dite de cou, agencée pour être portée au niveau du cou de l’utilisateur et générer des données d’orientations (9), la centrale inertielle (2) de tête étant en outre configurée pour générer des données d’orientation (8’) et la centrale inertielle de cou étant en outre configurée pour générer des données d’orientation (9’), 7. Device according to any one of the preceding method claims, further comprising inertial central (3), called neck, arranged to be worn at the neck of the user and generate orientation data (9), the head inertial unit (2) being further configured to generate orientation data (8 ') and the neck inertial unit being further configured to generate orientation data (9'),
ladite unité centrale de traitement (4) étant en outre configurée pour :  said central processing unit (4) being further configured to:
- synchroniser la boussole de la centrale inertielle de tête et la boussole de la centrale inertielle de cou et déterminer un coefficient de rectification (13),  synchronizing the compass of the head inertial unit and the compass of the inertial neck unit and determining a correction coefficient (13),
- rectifier, à partir dudit coefficient de rectification, les données d’orientations générées par la centrale inertielle de tête et les données d’orientations générées par la centrale inertielle de cou, pour déterminer, respectivement, les données d’orientations (8) de la centrale inertielle de tête et les données d’orientations (9) de la centrale inertielle de cou. - rectifying, from said rectification coefficient, the orientation data generated by the head inertial unit and the orientation data generated by the inertial unit of neck, to determine, respectively, the data of orientations (8) of the head inertial unit and the orientation data (9) of the inertial neck unit.
8. Dispositif selon l’une quelconque des revendications précédentes, dans lequel l’unité centrale de traitement (4) est agencée pour être portée par l’utilisateur. 8. Device according to any one of the preceding claims, wherein the central processing unit (4) is arranged to be worn by the user.
9. Procédé (100) d’indication d’informations sonores en réalité augmentée à un utilisateur, comportant : A method (100) for indicating sound information in augmented reality to a user, comprising:
- une génération (102) de données d’orientation (8) par une centrale inertielle (2), dite de tête, agencée pour être portée par la tête de l’utilisateur et pour générer des données d’orientation relatives à la direction de ladite tête,  a generation (102) of orientation data (8) by an inertial unit (2), said head, arranged to be carried by the head of the user and to generate orientation data relating to the direction of said head,
- une capture (301 ) par un dispositif de capture d’image (201 ) d’au moins une image capturée (202),  a capture (301) by an image capture device (201) of at least one captured image (202),
- une réception (302) par un réseau de neurones (204) de ladite au moins une image capturée,  a reception (302) by a neural network (204) of said at least one captured image,
- une analyse (303) par ledit réseau de neurones de ladite au moins une image reçue pour reconnaître un ou plusieurs objets (10) apparaissant dans l’image, an analysis (303) by said neural network of said at least one received image to recognize one or more objects (10) appearing in the image,
- un placement (106) dans un espace virtuel, par ladite unité centrale de traitement (4), d’une ou plusieurs sources sonores virtuelles pour chacun desdits un ou plusieurs objets reconnus, a placement (106) in a virtual space, by said central processing unit (4), of one or more virtual sound sources for each of said one or more recognized objects,
- une réception (108) desdites données d’orientation par ladite unité centrale de traitement,  a reception (108) of said orientation data by said central processing unit,
- une détermination (1 12), par ladite unité centrale de traitement, d’un signal binaural (1 1 ) reçu au niveau des oreilles de l’utilisateur résultant d’une émission sonore par ladite une ou plusieurs sources virtuelles, placées dans l’espace virtuel orienté à partir desdites données d’orientation reçues,  a determination (1 12), by said central processing unit, of a binaural signal (1 1) received at the level of the user's ears resulting from a sound emission by said one or more virtual sources, placed in the virtual space oriented from said received orientation data,
- une génération (1 14), par ladite unité centrale de traitement, d’un signal audio (12), comportant le signal binaural déterminé,  a generation (1 14), by said central processing unit, of an audio signal (12) comprising the determined binaural signal,
- une restitution (1 18), par une unité d’écoute (5) destinée à être portée par ladite tête, dudit signal audio généré.  a reproduction (1 18), by a listening unit (5) intended to be carried by said head, of said generated audio signal.
10. Procédé selon la revendication précédente, comportant en outre une détermination par l’unité centrale de traitement d’un signal haptique à partir des données d’orientation et une génération dudit signal haptique à partir de moyens de vibration. 10. Method according to the preceding claim, further comprising a determination by the central processing unit of a haptic signal from the data. orienting and generating said haptic signal from vibration means.
1 1 . Procédé selon l’une quelconque des revendications précédentes de procédé, comportant en outre une détermination par l’unité centrale d’une évolution de la position de l’utilisateur entre une première et une deuxième position, et une modification par l’unité centrale du signal binaural déterminé à partir de ladite évolution entre les deux positions, la génération par l’unité centrale de traitement comportant le signal binaural déterminé modifié. 1 1. A method according to any one of the preceding method claims, further comprising a CPU determining an evolution of the user's position between a first and a second position, and a modification by the central unit of the binaural signal determined from said evolution between the two positions, the generation by the central processing unit comprising the modified binaural signal modified.
12. Procédé selon la revendication précédente, dans laquelle le signal binaural modifié est déterminé à partir d’une part du signal binaural déterminé dans la première position et d’autre part d’une amplification de l’évolution de la position de l’utilisateur entre les deux positions. 12. The method as claimed in the preceding claim, wherein the modified binaural signal is determined from a part of the binaural signal determined in the first position and from an amplification of the evolution of the position of the user. between the two positions.
13. Procédé selon l’une quelconque des revendications précédentes de procédé,, dans lequel l’unité de traitement (4) est en outre configurée pour générer le son binaural (1 1 ) à partir d’au moins un paramètre décrivant une caractéristique physique de la boîte crânienne et/ou de l’une et/ou deux des oreilles de l’utilisateur. The method of any of the preceding method claims, wherein the processing unit (4) is further configured to generate the binaural sound (1 1) from at least one parameter describing a physical characteristic. of the cranial box and / or one and / or two of the user's ears.
14. Procédé selon l’une quelconque des revendications précédentes de procédé, mettant en outre en œuvre une centrale inertielle (3), dite de cou, agencée pour être portée au niveau du cou de l’utilisateur et générer (104) des données d’orientations (9), 14. A method according to any one of the preceding method claims, further implementing an inertial unit (3), called neck, arranged to be worn at the neck of the user and generate (104) data of (9),
ledit procédé comportant en outre une génération (102’) de données d’orientation (8’) par la centrale inertielle (2) de tête et une génération (104’) de données d’orientation (9’) par la centrale inertielle de cou,  said method further comprising generating (102 ') orientation data (8') by the head inertial unit (2) and generating (104 ') orientation data (9') by the inertial unit of neck,
ladite unité centrale de traitement (4) étant en outre configurée pour :  said central processing unit (4) being further configured to:
- synchroniser (120) la boussole de la centrale inertielle de tête et la boussole de la centrale inertielle de cou et déterminer un coefficient de rectification (13), synchronizing (120) the compass of the head inertial unit and the compass of the inertial neck unit and determining a correction coefficient (13),
- rectifier (140), à partir dudit coefficient de rectification, les données d’orientations générées par la centrale inertielle de tête et les données d’orientations générées par la centrale inertielle de cou, pour déterminer, respectivement, les données d’orientations (8) de la centrale inertielle de tête et les données d’orientations (9) de la centrale inertielle de cou. - rectifying (140), from said rectification coefficient, the orientation data generated by the head inertial unit and the orientation data generated by the inertial unit of neck, to determine, respectively, the data of orientations (8) of the head inertial unit and the orientation data (9) of the inertial neck unit.
15. Procédé selon l’une quelconque des revendications précédentes de procédé, comportant en outre un ajout, par l’unité centrale, d’instructions vocales au signal audio. A method according to any one of the preceding method claims, further comprising adding, by the central unit, voice instructions to the audio signal.
16. Produit programme d’ordinateur, téléchargeable depuis un réseau de communication et/ou stocké sur un support lisible par ordinateur et/ou exécutable par un microprocesseur, et chargeable dans une mémoire interne d’une unité de calcul, comportant des instructions de code de programme qui, lorsqu’elles sont exécutées par l’unité de calcul, mettent en œuvre les étapes d’un procédé selon l’une quelconque des revendications précédentes de procédé. 16. Computer program product, downloadable from a communication network and / or stored on a computer readable medium and / or executable by a microprocessor, and loadable in an internal memory of a computing unit, comprising code instructions program which, when executed by the computing unit, implement the steps of a method according to any one of the preceding method claims.
PCT/FR2019/050042 2018-01-12 2019-01-10 Improved device and method for communicating sound information to a user in augmented reality WO2019138186A1 (en)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
FR1850271 2018-01-12
FR1850271A FR3076709B1 (en) 2018-01-12 2018-01-12 DEVICE AND METHOD FOR COMMUNICATING SOUND INFORMATION TO AN AUGMENTED REALITY USER
FR1872680A FR3076927B1 (en) 2018-01-12 2018-12-11 Improved device and method for communicating audio information to a user in augmented reality
FR1872680 2018-12-11

Publications (1)

Publication Number Publication Date
WO2019138186A1 true WO2019138186A1 (en) 2019-07-18

Family

ID=65278395

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/FR2019/050042 WO2019138186A1 (en) 2018-01-12 2019-01-10 Improved device and method for communicating sound information to a user in augmented reality

Country Status (1)

Country Link
WO (1) WO2019138186A1 (en)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003034959A2 (en) * 2001-10-26 2003-05-01 Universite De Technologie De Compiegne Method for enabling at least a user, in particular a blind user, to perceive a shape and device therefor
WO2011106520A1 (en) * 2010-02-24 2011-09-01 Ipplex Holdings Corporation Augmented reality panorama supporting visually impaired individuals
US20140267642A1 (en) * 2013-03-15 2014-09-18 Orcam Technologies Ltd. Systems and methods for audible facial recognition
US20170286383A1 (en) * 2016-03-30 2017-10-05 Microsoft Technology Licensing, Llc Augmented imaging assistance for visual impairment

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003034959A2 (en) * 2001-10-26 2003-05-01 Universite De Technologie De Compiegne Method for enabling at least a user, in particular a blind user, to perceive a shape and device therefor
WO2011106520A1 (en) * 2010-02-24 2011-09-01 Ipplex Holdings Corporation Augmented reality panorama supporting visually impaired individuals
US20140267642A1 (en) * 2013-03-15 2014-09-18 Orcam Technologies Ltd. Systems and methods for audible facial recognition
US20170286383A1 (en) * 2016-03-30 2017-10-05 Microsoft Technology Licensing, Llc Augmented imaging assistance for visual impairment

Similar Documents

Publication Publication Date Title
US7979698B2 (en) Apparatus and method for proving authenticity with personal characteristics
US20170070730A1 (en) Imaging apparatus and imaging method
CN105721983A (en) Hearing device with image capture capabilities
WO2015186686A1 (en) Position determination apparatus, audio apparatus, position determination method, and program
EP3542545A1 (en) Improved audio headphones device
CN110688082B (en) Method, device, equipment and storage medium for determining adjustment proportion information of volume
US20200074662A1 (en) Computer-implemented tools and methods for determining optimal ear tip fitment
EP3412036B1 (en) Method for assisting a hearing-impaired person in following a conversation
WO2017093439A1 (en) Device for voice control of an image capture apparatus
JP2014137752A (en) Walking guidance system for people with visual impairment, walking guidance method for people with visual impairment, server and computer program executable on the same
CN110556127A (en) method, device, equipment and medium for detecting voice recognition result
WO2019105238A1 (en) Method and terminal for speech signal reconstruction and computer storage medium
EP3149968B1 (en) Method for assisting with following a conversation for a hearing-impaired person
CN110660398B (en) Voiceprint feature updating method and device, computer equipment and storage medium
WO2019138186A1 (en) Improved device and method for communicating sound information to a user in augmented reality
EP3575993B1 (en) Method and system for validating remote live identification via video-recording
FR3076927A1 (en) Improved device and method for communicating sound information to a user in augmented reality
CN112073891B (en) System and method for generating head-related transfer functions
US11082794B2 (en) Compensating for effects of headset on head related transfer functions
WO2020138258A1 (en) Information processing device, information processing method, and information processing program
WO2019138187A1 (en) Improved method and device for indicating a bearing c to a user
WO2019026598A1 (en) Image processing device, image processing method, program, and remote communication system
FR3077910A1 (en) METHOD FOR AIDING THE MAINTENANCE OF A COMPLEX SYSTEM
FR3076909A1 (en) Improved method and device for indicating a C-course to a user
WO2021193734A1 (en) Sound processing device, sound processing system, sound processing method, and non-transitory computer-readable medium having program stored therein

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19703161

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19703161

Country of ref document: EP

Kind code of ref document: A1