WO2023152153A1 - Création perfectionnée d'un avatar - Google Patents

Création perfectionnée d'un avatar Download PDF

Info

Publication number
WO2023152153A1
WO2023152153A1 PCT/EP2023/053050 EP2023053050W WO2023152153A1 WO 2023152153 A1 WO2023152153 A1 WO 2023152153A1 EP 2023053050 W EP2023053050 W EP 2023053050W WO 2023152153 A1 WO2023152153 A1 WO 2023152153A1
Authority
WO
WIPO (PCT)
Prior art keywords
user
avatar
parametric
image data
data
Prior art date
Application number
PCT/EP2023/053050
Other languages
English (en)
Inventor
Guillaume Bataille
Original Assignee
Orange
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Orange filed Critical Orange
Publication of WO2023152153A1 publication Critical patent/WO2023152153A1/fr

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts

Definitions

  • the value of at least one parameter of the avatar is personalized according to at least one morphological parameter among the morphological parameters specific to the user determined according to the image data of the user obtained by the method of avatar creation.
  • the image data may further include data from a target of known size (for example in the field of images taken of the user) to determine absolute measurements of the user.
  • the aforementioned artificial intelligence can determine a color, a length, etc. of these different parts of the body by associating an identifier with them (by “labeling” processing of the different parts of the body). This identifier is then recognized by an application for creating a parametric avatar which receives this data.
  • the parametric avatar created is realistic. However, as it is parametric, it can be modified as desired by the user, for example.
  • a computer program comprising instructions for implementing the method as defined above when these instructions are executed by a processor of a processing circuit.
  • a non-transitory, computer-readable recording medium on which such a program is recorded.
  • a computer device comprising a processing circuit configured to implement the method presented above.
  • the object of the present description makes it possible to create a user avatar by combining a parametric avatar creation application, with a dense capture of the real appearance of the user.
  • a first step S1 the user US positions himself in front of a device A for creating his dense avatar, for example one or more CAM cameras or else an infrared depth camera.
  • step S3 consists in configuring the creation of the avatar of the user in the most realistic way possible with a parametric application B according to the photorealistic avatar obtained in step S2.
  • the data thus parameterized (for example by the aforementioned artificial intelligence) can then be provided to an application B for creating a parametric avatar.
  • This application B has the advantage of admitting a large number of parameters (other than the simple color of skin or hair, or the simple existence of a beard), so that the parametric avatar created remains faithful to the morphology of the user.
  • the user obtains a parametric avatar as realistic as the application B allows by relying on a first avatar, dense, obtained thanks to the acquisition device A.
  • This avatar is in particular the measurements of the user, relating or absolute, which is appreciable in particular for telepresence systems in mixed reality.
  • the DIS device can be hosted on a server, to provide, via a communication network, an avatar version to a remote terminal available to the user.
  • the user can choose a version of the avatar online according to his choice and his needs. This choice can be received (e.g. "change eye color", etc.) for example via the IN input interface of the DIS device.
  • the object of the present description allows the creation of customizable parametric avatars from the real appearance of the user.
  • the use of an avatar can be extremely broad, and increasingly corresponds to an essential element of non-verbal communication between distant users.
  • the object of the present description considerably reduces the avatar creation time, makes it possible to obtain a parametric avatar to the measurements of the user (or possibly transformed according to the user's choice), to create multiple avatars in based on the needs/tastes/choices/preferences of the user.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Architecture (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Processing Or Creating Images (AREA)

Abstract

La description propose un procédé de création d'un avatar d'un utilisateur, comprenant : - Obtenir (S1) au moins des données d'image de l'utilisateur et traiter (S2) lesdites données pour déterminer des paramètres morphologiques propres à l'utilisateur, et - Appliquer (S3) les paramètres morphologiques propres à l'utilisateur à un modèle d'avatar paramétrique, pour obtenir un avatar paramétrique personnalisé de l'utilisateur.

Description

Création perfectionnée d’un avatar
La présente description concerne la création d’un avatar d’une personne physique, selon des attributs propres à cette personne.
Un avatar peut intervenir pour représenter virtuellement la personne physique dans des applications informatiques, par exemple de messagerie, ou encore dans des jeux en ligne, ou plus généralement dans un environnement virtuel ou « métaverse ».
Les techniques actuelles de création d'un avatar d’un utilisateur de telles applications font appel :
- soit à une reconstruction dite « dense » de l'apparence de l’utilisateur via une ou plusieurs caméras (par exemple des caméras couleurs de type « RGB ») et/ou une caméra infrarouge, de profondeur, et ce à l'aide d'un dispositif physique (A),
- soit à une création d'un avatar paramétrique, qui permet à l'utilisateur de paramétrer l'apparence de son avatar à l'aide de modèles prédéfinis en cliquant sur des icônes dédiées (par exemple de type « sliders ») pour choisir sa coiffure, la couleur de ses cheveux, sa taille, la couleur de sa peau, de ses yeux, etc., et ce à l'aide d'une application informatique (B).
Or, la reconstruction dense donne un avatar non personnalisable et nécessite un très grand volume de données. Par exemple, la couleur des cheveux, des yeux, de la peau, etc., n’est pas modifiable. Par ailleurs, un avatar trop réaliste n’est pas toujours bien accueilli par les utilisateurs, lesquels trouvent choquante leur représentation virtuelle, car, bien que très proche, elle n’est pas absolument parfaite (selon la théorie de la « vallée de l’étrange » initiée notamment par Masahiro Mori).
La création d'un avatar paramétrique, quant à elle, n'est pas réaliste car elle ne correspond pas aux mensurations réelles de l'utilisateur et ne peut pas reproduire fidèlement ses traits, mais elle est légère en ressources et donc beaucoup plus adaptée aux applications virtuelles de téléprésence. Les avatars paramétriques ne proposent pas de tenir compte des traits réels de l’utilisateur. Il est proposé à l’utilisateur des traits prédéfinis, typiques de personnages de bande dessinée, auxquels l’utilisateur ajoute des couleurs d’yeux, cheveux, lunettes, barbe, etc., personnalisés. Le résultat reste « cartoonisé » (dans le sens d’une apparence proche d’un personnage de bande dessinée), malgré quelques attributs choisis par l’utilisateur.
La présente description vient améliorer cette situation.
Elle propose à cet effet un procédé de création d’un avatar d’un utilisateur, comprenant :
- Obtenir au moins des données d’image de l’utilisateur et traiter lesdites données pour déterminer des paramètres morphologiques propres à l’utilisateur, et
- Appliquer les paramètres morphologiques propres à l’utilisateur à un modèle d’avatar paramétrique, pour obtenir un avatar paramétrique personnalisé de l’utilisateur.
Ainsi, par la mise en œuvre du procédé ci-avant, il est possible d’obtenir un avatar paramétrique, donc modifiable par l’utilisateur selon ses propres choix ou besoins, mais néanmoins cet avatar initial est réaliste car personnalisé grâce aux données d’image de l’utilisateur. En effet, la valeur d’au moins un paramètre de l’avatar est personnalisé en fonction d’au moins un paramètres morphologiques parmi les paramètres morphologiques propres à l’utilisateur déterminés en fonction des données image de l’utilisateur obtenues par le procédé de création d’avatar.
Les paramètres morphologiques précités de l’utilisateur peuvent être typiquement la forme et la disposition dans le visage d’éléments tels que le nez, les yeux, la bouche, etc., ou encore les dimensions (relatives ou absolues) des segments des membres comme les avant-bras, les jambes, etc. ou encore la couleur de peau, de cheveux, de barbe éventuellement, etc.
Ils peuvent être identifiés dans les données d’image par la mise en œuvre d’une intelligence artificielle et/ou d’applications de colorimétrie et de photogrammétrie.
Ainsi, le procédé selon l’invention permet de créer plus rapidement un avatar personnalisé car il ne nécessite pas le paramétrage complexe et fin mis en œuvre pour la création d’un avatar par capture volumétrique de l’utilisateur. Néanmoins, contrairement à la création d’un avatar paramétrique pour lequel seuls des paramètres esthétiques peuvent être sélectionner dans un catalogue, le procédé selon l’invention propose de modifier des paramètres morphologiques de l’avatar non pas en sélectionnant des valeurs dans un catalogue mais en utilisant des paramètres morphologiques de l’utilisateur, ce qui permet de créer un avatar paramétrique personnalisé morphologiquement conforme à l’utilisateur. La conformité morphologique à l’utilisateur de l’avatar paramétrique créé par le procédé selon l’invention est au moins partielle (taille et/ou tour de taille et/ou dimension de la main etc.).
Un avantage d’un tel avatar paramétrique personnalisé morphologiquement conforme à l’utilisateur est qu’il permet à l’utilisateur d’essayer des produits dans le monde virtuel préalablement à un achat, voir à leur fabrication (meubles, voiture, vêtement, maison, appartement etc…). Un autre avantage d’un avatar paramétrique personnalisé morphologiquement conforme à l’utilisateur est qu’il permet d’interagir en réalité augmentée avec des objets réels en limitant les erreurs d’interaction puisque l’avatar se conforme à la morphologie de l’utilisateur.
Un effet technique de ce paramétrage personnalisé de l’avatar en fonction de paramètre morphologique de l’utilisateur est que le caractère paramétrique de l’avatar permet de modifier ultérieurement l’avatar pour en créer un ou plusieurs versions différentes.
Par exemple, les données d’image peuvent être acquises par une pluralité de caméras pour construire par stéréoscopie un modèle 3D de l’utilisateur.
En complément ou en variante, les données d’image peuvent être acquises en outre par au moins une caméra infrarouge pour acquérir au moins des données de profondeur d’image de l’utilisateur et construire un modèle 3D de l’utilisateur.
Dans une réalisation, le procédé peut comporter :
- Déterminer à partir desdites données d’image au moins des mensurations relatives de l’utilisateur, par photogrammétrie, et évaluer des paramètres morphologiques caractéristiques de l’utilisateur.
Ces mensurations relatives peuvent être par exemple l’écart des yeux relativement à la largeur du visage, ou encore la hauteur du nez par rapport à la hauteur totale du visage, ou encore l’épatement du nez par rapport à la largeur du visage, ou encore la longueur de l’avant-bras par rapport à la longueur totale du bras, etc.
Ces mensurations sont relatives, mais il est possible de mesurer et paramétrer des dimensions absolues. Par exemple, les données d’image peuvent comporter en outre des données d’une mire de dimension connue (par exemple dans le champ des images prises de l’utilisateur) pour déterminer des mensurations absolues de l’utilisateur.
Le procédé peut comporter en outre :
- Déterminer par colorimétrie et à partir desdites données d’image, au moins des couleurs de peau et/ou cheveux de l’utilisateur.
Ainsi, l’avatar réaliste, construit initialement, peut présenter une couleur fidèle des cheveux et/ou de la peau et/ou d’une barbe éventuelle, etc., de l’utilisateur.
En complément ou en variante de l’utilisation d’applications de colorimétrie et/ou de photogrammétrie, le procédé peut prévoir de mettre en œuvre une intelligence artificielle pour identifier, à partir desdites données d’image, des parties distinctes du corps de l’utilisateur, et pour paramétrer lesdites parties distinctes du corps.
Par exemple, l’intelligence artificielle précitée peut déterminer une couleur, une longueur, etc. de ces différentes parties du corps en leur associer un identifiant (par traitement de « labellisation » des différentes parties du corps). Cet identifiant est alors reconnu par une application de création d’un avatar paramétrique qui reçoit ces données.
Dans un mode de réalisation, une application de création d’un avatar paramétrique peut être programmée pour admettre comme paramètres d’entrée au moins :
- des formes et dimensions d’éléments du visage de l’utilisateur,
- des couleurs au moins de peau et/ou de cheveux de l’utilisateur,
- des dimensions de segments des membres de l’utilisateur.
Des exemples d’une telle application de création d’avatar paramétrique sont donnés plus loin. Il est cité ici simplement à titre d’exemple non limitatif l’application « Make Human Project ».
Grâce à l’exploitation de ces données paramétrées, propres à l’utilisateur, l’avatar paramétrique créé est réaliste. Néanmoins, comme il est paramétrique, il est modifiable à souhait par l’utilisateur par exemple.
Ainsi, dans une réalisation, le procédé peut comporter en outre :
- modifier, sur requête de l’utilisateur, l’avatar paramétrique personnalisé de l’utilisateur.
Par exemple, l’utilisateur peut choisir de changer une couleur de cheveux, une couleur d’yeux, une couleur de peau, un type d’habillement, ou autres.
En complément ou en variante, le procédé peut comporter en outre, pendant l’exécution d’une application dans laquelle intervient l’avatar :
- modifier, sur réception d’une commande issue de l’application, l’avatar paramétrique personnalisé de l’utilisateur.
Dans cette réalisation, par exemple au fur et à mesure de l’exécution de l’application (par exemple un jeu en ligne), l’avatar peut être modifié automatiquement par l’application (par exemple en faisant grandir et épaissir l’avatar au fur et à mesure que l’utilisateur remporte des manches du jeu).
Dans une réalisation, outre les données d’image, des données vocales de l’utilisateur sont acquises pour accompagner une apparence physique de l’avatar personnalisé de l’utilisateur, d’une expression vocale réaliste de l’utilisateur.
Ainsi, dans une telle réalisation, l’avatar créé est fidèle tant sur l’apparence physique que par la voix donnée à l’avatar. Néanmoins, comme l’avatar est paramétrique, l’utilisateur peut choisir de lui attribuer une voix modifiée (plus grave par exemple, ou autre).
Selon un autre aspect, il est proposé un programme informatique comportant des instructions pour la mise en œuvre du procédé tel que défini précédemment lorsque ces instructions sont exécutées par un processeur d’un circuit de traitement. Selon un autre aspect, il est proposé un support d’enregistrement non transitoire, lisible par un ordinateur, sur lequel est enregistré un tel programme.
Selon un autre aspect, il est proposé un dispositif informatique comportant un circuit de traitement configuré pour mettre en œuvre le procédé présenté ci-dessus.
D’autres caractéristiques, détails et avantages apparaîtront à la lecture de la description détaillée ci-après, et à l’analyse des dessins annexés, sur lesquels :
La illustre l’estimation d'un avatar paramétrique le plus réaliste possible d'après un modèle photoréaliste dense d’un l'utilisateur,
La illustre un mode de réalisation possible consistant en la création d'avatars multiples personnalisés, à partir de l'avatar paramétrique le plus réaliste possible,
La illustre un exemple de dispositif pour la mise en œuvre du procédé ci-avant.
L'objet de la présente description permet de créer un avatar utilisateur en combinant une application de création d'avatar paramétrique, à une capture dense de l'apparence réelle de l'utilisateur.
En référence à la , dans une première étape S1, l'utilisateur US se positionne devant un dispositif A de création de son avatar dense, par exemple une ou plusieurs caméras CAM ou encore une caméra infrarouge de profondeur.
Les caméras précitées CAM peuvent former un ensemble dit « rig » de caméras (avec une cinquantaine de caméras par exemple) enveloppant en un demi-cylindre ou en un cylindre l’utilisateur pour acquérir un modèle 3D du corps complet de l’utilisateur, par stéréoscopie. La caméra infrarouge de profondeur, précitée, peut donner, en alternative ou en complément, des informations 3D par projection par exemple d’une grille infrarouge avec détection de temps d’aller/retour des rayons en chaque point du corps de l’utilisateur. Un modèle de caméra infrarouge de ce type est connu sous le nom de « Kinect » ®.
Dans une deuxième étape S2, un circuit de traitement informatique (du type illustré sur la à titre d’exemple) est relié au dispositif A pour créer alors un « avatar photoréaliste » : de la même taille et ayant de mêmes proportions que l'utilisateur. On entend ici par « avatar photoréaliste » un modèle 3D de l’utilisateur particulièrement réaliste, qui peut consister a minima en un ensemble de données stockées en mémoire, ces données déterminant :
- La couleur de peau, des yeux, des cheveux, de la barbe éventuelle, des sourcils, etc.
- La forme du visage : forme et hauteur du nez par rapport à la hauteur du visage, forme et écart des yeux par rapport à la largeur du visage, disposition et forme de la bouche, disposition et forme des oreilles, forme du menton, etc.
- La forme des membres : longueur relative des avant-bras par rapport aux bras, du tronc, des jambes, etc.
- La posture : courbure du dos, avancement du bassin, etc.
Bien entendu, les exemples de données ci-dessus ne sont pas exhaustifs. Par ailleurs, les dimensions des parties du corps peuvent être données relativement à une autre partie du corps ou être données dans l’absolu. Dans le deuxième cas, une mire de dimensions connues peut être placée avec l’utilisateur dans le champ de la ou des caméras CAM pour la mise en œuvre de la première étape d’acquisition d’image S1.
Par exemple, à cette étape S2, une intelligence artificielle AI peut intervenir pour :
- Identifier dans les images acquises les couleurs de peau, de cheveux etc., ainsi que les dimensions de parties du corps, et autres,
- Paramétrer ces informations identifiées sous la forme desdites données stockées,
- Et fournir à l’étape suivante S3 ces données PARAM à un modèle d’avatar paramétrique.
En effet, l’étape S3 consiste à paramétrer de la façon la plus réaliste possible la création de l'avatar de l'utilisateur avec une application paramétrique B en fonction de l'avatar photoréaliste obtenu à l’étape S2. A cette étape S3, les données ainsi paramétrées (par exemple par l’intelligence artificielle précitée) peuvent alors être fournies à une application B de création d’un avatar paramétrique. Cette application B présente l’avantage d’admettre un grand nombre de paramètres (autres que la simple couleur de peau ou des cheveux, ou la simple existence d’une barbe), de sorte que l’avatar paramétrique créé reste fidèle à la morphologie de l’utilisateur.
A titre d’exemple, une application B pour la création d'avatar générique avec une approche paramétrique peut être « Make Human Project » : http://www.makehumancommunity.org/ (en libre accès au code source), ou encore MB-Lab https://mblab.dev/ (plugin pour le modeleur « 3D Blender »). De tels exemples d’application offrent l’avantage d’être souples en programmation et notamment d’admettre un grand nombre de paramètres morphologiques de l’utilisateur.
A l’étape S3, l’applications B reçoit les données paramétrées morphologiques de l’utilisateur (longueur des membres, formes exactes du visage, couleurs de peau, de cheveux, etc.) et construit un avatar paramétrique respectant toutes les données morphologiques fournies.
Ainsi, l'utilisateur obtient un avatar paramétrique aussi réaliste que l'application B le permet en s'appuyant sur un premier avatar, dense, obtenu grâce au dispositif d’acquisition A. Cet avatar est notamment aux mensurations de l'utilisateur, relatives ou absolues, ce qui est appréciable en particulier pour des systèmes de téléprésence en réalité mixte.
En référence maintenant à la , l'utilisateur peut ensuite, à l’étape S4, modifier son avatar paramétrique réaliste en fonction de ses propres souhaits. Il peut l'habiller avec des vêtements virtuels, créer différents avatars en fonction de ses besoin et choix de représentation dans un métaverse. Il peut modifier son apparence, gommer ses défauts physiques, changer la couleur de ses yeux, de ses cheveux, de sa peau, ou autres. Plusieurs modifications possibles de son avatar réaliste peuvent être enregistrées de sorte que l’utilisateur dispose alors d’un ensemble d'avatars qu'il peut choisir d'utiliser en fonction de son contexte dans le métaverse (par exemple en costume pour un métaverse avec des clients, en tenue décontractée avec des amis, ou encore déguisé et transformé physiquement pour fêter Halloween, ou autres). Ainsi par exemple :
- un premier avatar AVAT1 peut convenir pour une première application APPLI1, par exemple de vidéoconférence virtuelle dans le cadre d’un entretien de travail,
- un deuxième avatar AVAT2 peut convenir pour une deuxième application APPLI2, par exemple de jeu en ligne,
- un troisième avatar AVAT3 peut convenir pour une troisième application APPLI3, par exemple de discussion sur un réseau social informel,
- etc.
Outre l’apparence physique, il peut être prévu une modification de la posture de l’individu, ou encore une modification de la manière dont l’utilisateur met son corps en mouvement (par exemple les mouvements des mains, sa démarche, etc.).
Par ailleurs, de manière avantageuse, l’application courante APPLIi (i=1, 2, ou 3) , peut, au fur et à mesure de son déroulement, modifier automatiquement l’avatar AVATi de l’utilisateur. Par exemple, l'apparence de l’avatar de l'utilisateur peut être de plus en plus réaliste pendant une vidéoconférence virtuelle dans le cadre d’un entretien de travail, si l'application détecte que l'humeur des participants caractérise un climat de confiance entre les intervenants pendant l'entretien. Dans le cadre d’une application de jeu, l'apparence de l’avatar de l'utilisateur peut être de plus en plus « musclée » au fur et à mesure que l’utilisateur gagne des manches du jeu par exemple. Cette étape de modification de l’avatar en fonction du déroulement de l’application est illustrée par la flèche S5 sur la .
En référence maintenant à la , un dispositif DIS pour la mise en œuvre du procédé ci-avant peut comporter un circuit de traitement comportant par exemple :
- Une interface d’entrée IN pour recevoir par exemple des données d’images acquises par une ou plusieurs caméras A,
- Une mémoire MEM pour stocker les instructions d’un programme informatique du type introduit ci-dessus, et éventuellement stocker au moins temporairement les données d’images acquises,
- Un processeur PROC apte à coopérer avec la mémoire MEM pour lire et exécuter les instructions d’un tel programme afin de piloter une application de création d’avatar paramétrique en lui fournissant des paramètres pertinents, issus des données d’image, et
- Une sortie OUT pour délivrer les données d’un avatar paramétrique réaliste, dans l’exemple illustré.
Le dispositif DIS peut être hébergé auprès d’un serveur, pour fournir, via un réseau de communication, une version d’avatar à un terminal distant à disposition de l’utilisateur. Eventuellement, l’utilisateur peut choisir en ligne une version de l’avatar selon son choix et ses besoins. Ce choix peut être reçu (par exemple « changer la couleur des yeux », etc.) par exemple via l’interface d’entrée IN du dispositif DIS.
Alternativement à l’utilisation d’une interface de sortie, la création de l’avatar peut être réalisée en local, avec simple stockage dans la mémoire MEM des données de l’avatar, par exemple dans un terminal à disposition de l’utilisateur.
Ainsi, l’objet de la présente description permet la création d'avatars paramétriques personnalisables à partir de l'apparence réelle de l'utilisateur. L'usage d'un avatar peut être extrêmement large, et correspond de plus en plus à un élément essentiel de la communication non verbale entre utilisateurs distants. L’objet de la présente description réduit considérablement le temps de création de l'avatar, permet d'obtenir un avatar paramétrique aux mensurations de l'utilisateur (ou éventuellement transformé selon le choix de l’utilisateur), de créer de multiples avatars en fonction des besoins/goûts/choix/préférences de l'utilisateur.
Néanmoins, outre la paramétrisation des données d’apparence physique de l’utilisateur, il est possible de paramétrer en outre sa voix, ainsi que son expression et son élocution. Par exemple, outre les données d’image acquises à l’étape S1, il est possible de faire lire un texte à l’utilisateur et d’enregistrer à l’aide d’un ou plusieurs microphones la voix de l’utilisateur. A l’aide d’une détection tonale et des formants dans la voix de l’utilisateur, il est possible alors de fournir en outre des données paramétrées de la voix de l’utilisateur (fréquence tonale moyenne, intensités respectives moyennes des formants, et/ou autres) à une application de création d’avatar paramétrique, sonore, à l’étape S2. A l’étape S4, l’utilisateur peut transformer légèrement sa voix, par exemple en la rendant plus grave en fréquence tonale, ou encore l’application courante APPLIi peut modifier la voix en la rendant plus grave par exemple au fur et à mesure que l’utilisateur gagne les manches d’un jeu. Plus généralement, outre la transformation de la voix, il est possible de faire parler l’avatar dans une autre langue, ou encore de modifier/corriger son expression orale avec des mots plus appropriés à un contexte par exemple.
De manière plus générale, la présente description ne se limite pas aux formes de réalisation décrites ci-avant à titre d’exemples. Elle s’étend à d’autres variantes.
Par exemple, on a décrit ci-avant une intelligence artificielle pour déterminer les différentes parties du corps et les paramétrer. Néanmoins, une application de photogrammétrie, combinée à une application de colorimétrie, peut permettre déjà de déterminer les paramètres morphologiques de l’utilisateur, en nombre suffisant pour renseigner une application de création d’avatar paramétrique capable de générer un avatar réaliste, et ce donc sans avoir recours nécessairement à une intelligence artificielle. Bien entendu, ces applications peuvent être programmées pour être compatibles avec les paramètres attendus par le modèle de création d’avatar paramétrique.

Claims (13)

  1. Procédé de création d’un avatar d’un utilisateur, comprenant :
    - Obtenir (S1) au moins des données d’image de l’utilisateur et traiter (S2) lesdites données pour déterminer des paramètres morphologiques propres à l’utilisateur, et
    - Appliquer (S3) les paramètres morphologiques propres à l’utilisateur à un modèle d’avatar paramétrique, pour obtenir un avatar paramétrique personnalisé de l’utilisateur.
  2. Procédé la revendication 1, dans lequel les données d’image sont acquises par une pluralité de caméras (CAM-A) pour construire par stéréoscopie un modèle 3D de l’utilisateur.
  3. Procédé selon l'une des revendications précédentes, dans lequel les données d’image sont acquises par au moins une caméra infrarouge pour acquérir au moins des données de profondeur d’image de l’utilisateur et construire un modèle 3D de l’utilisateur.
  4. Procédé selon l'une des revendications précédentes, comportant :
    - Déterminer à partir desdites données d’image au moins des mensurations relatives de l’utilisateur, par photogrammétrie, et évaluer des paramètres morphologiques caractéristiques de l’utilisateur.
  5. Procédé selon la revendication 4, dans lequel les données d’image comportent en outre des données d’une mire de dimension connue pour déterminer des mensurations absolues de l’utilisateur.
  6. Procédé selon l'une des revendications précédentes, comportant :
    - Déterminer par colorimétrie et à partir desdites données d’image, au moins des couleurs de peau et/ou cheveux de l’utilisateur.
  7. Procédé selon l'une des revendications précédentes, comportant :
    - Mettre en œuvre une intelligence artificielle (AI) pour identifier, à partir desdites données d’image, des parties distinctes du corps de l’utilisateur, et pour paramétrer lesdites parties distinctes du corps.
  8. Procédé selon l'une des revendications précédentes, dans lequel une application de création d’un avatar paramétrique est programmée pour admettre comme paramètres d’entrée au moins :
    - des formes et dimensions d’éléments du visage de l’utilisateur,
    - des couleurs au moins de peau et/ou de cheveux de l’utilisateur,
    - des dimensions de segments des membres de l’utilisateur.
  9. Procédé selon l'une des revendications précédentes, comportant en outre :
    - modifier (S4), sur requête de l’utilisateur, l’avatar paramétrique personnalisé de l’utilisateur.
  10. Procédé selon l'une des revendications précédentes, comportant en outre, pendant une exécution d’une application dans laquelle intervient l’avatar de l’utilisateur :
    - modifier (S5), sur réception d’une commande issue de l’application, l’avatar paramétrique personnalisé de l’utilisateur.
  11. Procédé l’une des revendications précédentes, dans lequel, outre les données d’image, des données vocales de l’utilisateur sont acquises pour accompagner une apparence physique de l’avatar personnalisé de l’utilisateur, d’une expression vocale réaliste de l’utilisateur.
  12. Programme informatique comportant des instructions pour la mise en œuvre du procédé selon l’une des revendications précédentes, lorsque lesdites instructions sont exécutées par un processeur (PROC) d’un circuit de traitement.
  13. Dispositif informatique (DIS) comportant un circuit de traitement configuré pour mettre en œuvre le procédé selon l’une des revendications 1 à 11.
PCT/EP2023/053050 2022-02-10 2023-02-08 Création perfectionnée d'un avatar WO2023152153A1 (fr)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FRFR2201154 2022-02-10
FR2201154A FR3132583A1 (fr) 2022-02-10 2022-02-10 Création perfectionnée d’un avatar

Publications (1)

Publication Number Publication Date
WO2023152153A1 true WO2023152153A1 (fr) 2023-08-17

Family

ID=82019183

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2023/053050 WO2023152153A1 (fr) 2022-02-10 2023-02-08 Création perfectionnée d'un avatar

Country Status (2)

Country Link
FR (1) FR3132583A1 (fr)
WO (1) WO2023152153A1 (fr)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110292051A1 (en) * 2010-06-01 2011-12-01 Apple Inc. Automatic Avatar Creation
US20150070351A1 (en) * 2012-02-12 2015-03-12 Mach-3D Sarl Method for sharing emotions through the creation of three dimensional avatars and their interaction

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110292051A1 (en) * 2010-06-01 2011-12-01 Apple Inc. Automatic Avatar Creation
US20150070351A1 (en) * 2012-02-12 2015-03-12 Mach-3D Sarl Method for sharing emotions through the creation of three dimensional avatars and their interaction

Non-Patent Citations (9)

* Cited by examiner, † Cited by third party
Title
"Pattern Recognition : 5th Asian Conference, ACPR 2019, Auckland, New Zealand, November 26-29, 2019, Revised Selected Papers, Part II", vol. 8827, 1 January 2014 (2014-01-01), Cham, pages 354 - 363, XP055959938, ISSN: 0302-9743, ISBN: 978-3-030-41298-2, Retrieved from the Internet <URL:https://link.springer.com/content/pdf/10.1007/978-3-662-44654-6_35.pdf> DOI: 10.1007/978-3-662-44654-6_35 *
ALLDIECK THIEMO ET AL: "Detailed Human Avatars from Monocular Video", 2018 INTERNATIONAL CONFERENCE ON 3D VISION (3DV), IEEE, 5 September 2018 (2018-09-05), pages 98 - 109, XP033420095, DOI: 10.1109/3DV.2018.00022 *
ANONYMOUS: "Depth Sensing - Overview | Stereolabs", 19 July 2019 (2019-07-19), XP055960201, Retrieved from the Internet <URL:https://web.archive.org/web/20190719200509/https://www.stereolabs.com/docs/depth-sensing/> [retrieved on 20220913] *
FENG ANDREW ET AL: "Avatar reshaping and automatic rigging using a deformable model", PROCEEDINGS OF THE 8TH ACM SIGGRAPH CONFERENCE ON MOTION IN GAMES, 16 November 2015 (2015-11-16), New York, NY, USA, pages 57 - 64, XP055920169, ISBN: 978-1-4503-3991-9, DOI: 10.1145/2822013.2822017 *
FU BO ET AL: "Robust near-infrared structured light scanning for 3D human model reconstruction", PROCEEDINGS OF SPIE, IEEE, US, vol. 8979, 7 March 2014 (2014-03-07), pages 89790A - 89790A, XP060034746, ISBN: 978-1-62841-730-2, DOI: 10.1117/12.2040137 *
LI ZHONGGUO ET AL: "Parametric Model-Based 3D Human Shape and Pose Estimation from Multiple Views", 12 May 2019, ADVANCES IN DATABASES AND INFORMATION SYSTEMS; [LECTURE NOTES IN COMPUTER SCIENCE; LECT.NOTES COMPUTER], SPRINGER INTERNATIONAL PUBLISHING, CHAM, PAGE(S) 336 - 347, ISBN: 978-3-319-10403-4, XP047508125 *
RAN QING ET AL: "High-precision human body acquisition via multi-view binocular stereopsis", COMPUTERS AND GRAPHICS, ELSEVIER, GB, vol. 87, 23 January 2020 (2020-01-23), pages 43 - 61, XP086119709, ISSN: 0097-8493, [retrieved on 20200123], DOI: 10.1016/J.CAG.2020.01.003 *
ZHANG QITONG ET AL: "A Robust Multi-View System for High-Fidelity Human Body Shape Reconstruction", vol. 40, no. 5, 1 August 2021 (2021-08-01), Oxford, pages 19 - 31, XP055960197, ISSN: 0167-7055, Retrieved from the Internet <URL:https://onlinelibrary.wiley.com/doi/full-xml/10.1111/cgf.14354> DOI: 10.1111/cgf.14354 *
ZHAO TIANHAO: "A Robust Multi-View System for High-Fidelity Human Body Shape Reconstruction", 1 January 2019 (2019-01-01), XP055960200, Retrieved from the Internet <URL:https://ieeexplore.ieee.org/stampPDF/getPDF.jsp?tp=&arnumber=8371630&ref=aHR0cHM6Ly9pZWVleHBsb3JlLmllZWUub3JnL2RvY3VtZW50LzgzNzE2MzA=> [retrieved on 20220913] *

Also Published As

Publication number Publication date
FR3132583A1 (fr) 2023-08-11

Similar Documents

Publication Publication Date Title
US9734628B2 (en) Techniques for processing reconstructed three-dimensional image data
Zollhöfer et al. State of the art on monocular 3D face reconstruction, tracking, and applications
US10347028B2 (en) Method for sharing emotions through the creation of three-dimensional avatars and their interaction
KR100407111B1 (ko) 얼굴 영상의 형태 정보에 기반한 합성 얼굴 영상 생성장치 및 그 방법
US12014467B2 (en) Generating augmented reality prerenderings using template images
US8498456B2 (en) Method and system for applying cosmetic and/or accessorial enhancements to digital images
CN113287118A (zh) 用于面部再现的系统和方法
CN105190699A (zh) 基于面部运动数据的卡拉ok化身动画
WO2008050062A1 (fr) Procédé et dispositif de simulation virtuelle d&#39;une séquence d&#39;images vidéo.
CN108875539A (zh) 表情匹配方法、装置和系统及存储介质
WO2022221042A1 (fr) Production d&#39;une représentation d&#39;image numérique d&#39;un corps
CN107743263B (zh) 视频数据实时处理方法及装置、计算设备
WO2023152153A1 (fr) Création perfectionnée d&#39;un avatar
Boháček et al. A geometric and photometric exploration of gan and diffusion synthesized faces
KR20200029968A (ko) 딥 러닝 기술을 활용한 자동 캐릭터 얼굴 표정 모델링 방법
Wu et al. The art of artificial intelligent generated content for mobile photography
CN113223128A (zh) 用于生成图像的方法和装置
KR20140147308A (ko) 얼굴인식을 이용한 캐릭터 제작 방법 및 이를 지원하는 단말
WO2023044172A1 (fr) Systèmes et procédé de calcul de responsabilité d&#39;un conducteur d&#39;un véhicule
CN118261807A (en) Image conversion method, device, electronic equipment and storage medium
CN116597079A (zh) 三维虚拟人脸的生成方法及装置和电子设备
EP3351007A1 (fr) Procédé de visualisation de données relatives à un événement et système associé
FR2879875A1 (fr) Procede et systeme d&#39;implementation d&#39;avatar a la demande d&#39;un utilisateur

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23703231

Country of ref document: EP

Kind code of ref document: A1