WO2021116635A1 - Procede et systeme de generation de modeles numeriques 3d - Google Patents

Procede et systeme de generation de modeles numeriques 3d Download PDF

Info

Publication number
WO2021116635A1
WO2021116635A1 PCT/FR2020/052416 FR2020052416W WO2021116635A1 WO 2021116635 A1 WO2021116635 A1 WO 2021116635A1 FR 2020052416 W FR2020052416 W FR 2020052416W WO 2021116635 A1 WO2021116635 A1 WO 2021116635A1
Authority
WO
WIPO (PCT)
Prior art keywords
model
dimensional
dimensional digital
image data
models
Prior art date
Application number
PCT/FR2020/052416
Other languages
English (en)
Inventor
Erwan KROTOFF
Adrien ZANELLI
Stéphane DUSPASQUIER
Grekou YAO
Original Assignee
Retail Vr
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Retail Vr filed Critical Retail Vr
Priority to US17/783,383 priority Critical patent/US20230019232A1/en
Priority to CA3160129A priority patent/CA3160129A1/fr
Priority to EP20845411.6A priority patent/EP4073765A1/fr
Publication of WO2021116635A1 publication Critical patent/WO2021116635A1/fr

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2021—Shape modification

Definitions

  • the invention relates generally to the generation of three-dimensional digital models, called "3D models”. More particularly, the invention relates to a method and a system for generating three-dimensional digital models.
  • 3D modeling is of great interest to understand an object holistically and improve understanding of it.
  • a 3D model advantageously replaces a large number of two-dimensional images, called 2D images ”.
  • the 3D model can easily be manipulated to view the object from different angles.
  • the 3D model also allows for an animated presentation of the object by calculating a plurality of images which are displayed successively, typically at a rate of at least 25 frames per second.
  • the 3D model is optimized for real-time calculation of the images, which are rendered directly on the display device.
  • This technology provides a high level of user interactivity and animation control by the user, allowing for increased immersion possibilities and a better user experience.
  • 3D modeling finds an important application in electronic commerce, known as “e-commerce”, and has experienced strong development there in recent years.
  • 3D visualization of products on merchant sites improves understanding of products by customers.
  • the customer can interact with the product, for example, by rotating it or zooming in on details, which increases their level of engagement towards an act of purchase.
  • Animations using 3D models can easily be integrated into the merchant site, for example, to highlight products or attract the attention of the customer.
  • 3D models are created manually with 3D modeling software such as “Blender®”, “3Ds Max®”, “Maya®” and others.
  • the manual creation with software of a good quality 3D model is an activity that can require a lot of work.
  • a three-dimensional modeling method described by document EP2381421A2 has been proposed.
  • This method is computer implemented and is designed to automatically generate a three dimensional model of a product from two dimensional image data.
  • shape information is extracted from the two-dimensional image data, as well as a class of three-dimensional shapes to which the represented product belongs.
  • a three-dimensional graphic outline of the product is then determined from the extracted information.
  • a mesh generator generates a three-dimensional mesh based on the determined three-dimensional graphic outline and the three-dimensional shape class of the product.
  • the three-dimensional model of the product is obtained by mapping images to the three-dimensional mesh.
  • the images projected on the three-dimensional mesh are extracted from the two-dimensional image data of the product.
  • Document US2019147221A1 describes a method for selecting a three-dimensional digital model from an image provided as an input. An object is identified in the input image and one or more candidate three-dimensional models for representation of the object are preselected from a database. A candidate three-dimensional model is finally selected to represent the object in the input image.
  • the objective of the present invention is to provide an improved method for generating three-dimensional digital models, allowing easy and low-cost generation of three-dimensional digital models which are suitable, in particular, for real-time applications on Internet sites.
  • the invention relates to a method, implemented by computer, for generating three-dimensional digital models in a system for generating three-dimensional digital models for objects represented in two-dimensional images, the method comprising the steps of: a ) assembling a set of diversified data comprising two-dimensional image data and a database of three-dimensional digital models, relating to a plurality of objects; b) training of a multidimensional type convolutional neural network with the set of diversified data so as to obtain a neural model resulting from the training; c) receiving incoming two-dimensional image data representing the object; d) indexing in the database of three-dimensional digital models, using the neural model and a choice function, of at least one three-dimensional digital model having at least one characteristic in common with the object represented by the data incoming two-dimensional image data, the indexing resulting from classification of the incoming two-dimensional image data into different object classes by a function of features recognized in the incoming two-dimensional image data using the neural model, the recognized features including at least one shape feature
  • the choice function is based on recognition probabilities of the characteristics in the incoming two-dimensional image data.
  • the database of three-dimensional digital models comprises textured and / or non-textured three-dimensional digital models.
  • the method also comprises a step of: h) enriching the set of diversified data with the three-dimensional digital model provided in step g).
  • the method also comprises a step of: i) three-dimensional visualization of a plurality of three-dimensional digital models indexed in step d), and manual selection of one of the three-dimensional digital models displayed as a model three-dimensional digital image of the object represented by the incoming two-dimensional image data.
  • the method also comprises a step of: j) automatic selection, based on the choice function, of a three-dimensional digital model from among a plurality of three-dimensional digital models indexed to step d) as a three-dimensional digital model of the object represented by the incoming two-dimensional image data.
  • the invention also relates to a system for generating three-dimensional digital models comprising at least one computer server and a data storage device associated with the computer server, the computer server being connected to a data communication network and allowing user access to the system.
  • the system comprises additional means for implementing the method of generating three-dimensional digital models described briefly above, these additional means comprising a convolutional neural network.
  • the system for generating three-dimensional digital models of the invention can be produced, for example, in the form of a system accessible in so-called "SAAS” mode (for "Software As a Service” in English).
  • SAAS Software As a Service
  • the invention also relates to a computer program comprising program code instructions implementing the method for generating three-dimensional digital models described briefly above when these are executed by a device processor. computer science.
  • FIG. 1 shows six simplified 2D images of products having different shapes, materials and textures.
  • FIG. 2 is a simplified general view of a particular embodiment of the system for generating 3D models according to the invention.
  • FIG. 3 is a block diagram showing different steps included in the process for generating 3D models according to the invention.
  • FIG. 4 is a block diagram illustrating a multiclassification of incoming 2D images performed in the method for generating 3D models according to the invention.
  • FIG. 5 is a block diagram illustrating the emission of suggestions for 3D models and of treatments to be carried out on the 3D models in the system for generating 3D models according to the invention.
  • FIG. 6 is a block diagram illustrating the suggestion of a 3D model by the artificial intelligence process of the system for generating 3D models according to the invention.
  • FIG. 7 shows a choice function used by the artificial intelligence process of the 3D model generation system according to the invention.
  • the objects represented in the images are characterized primarily by shapes, materials, textures and visual effects.
  • Material is defined as the type of material that goes into the construction of an object. In the design of a 3D object, the material is largely responsible for the visual rendering of the object. The material has special properties and is therefore a distinctive feature that helps to distinguish objects.
  • the materials can be classified arbitrarily, for example, into three main categories, namely, a class called metals, a class called ceramic-type materials and a class called polymers.
  • a class called metals will be included, for example, iron, steel, copper and aluminum.
  • ceramic-type materials will be included, for example, ceramic and glass.
  • polymers will be included, for example, wood, cardboard, plastics, leather and rubber.
  • material editors usually allow you to create standard materials with adjustable parameters.
  • a program or script for adding material to a 3D model can control the parameters of a standard material to achieve desired visual effects.
  • the materials editor contained in a software application of Unity3D® type authorizes the adjustment of parameters on a standard material, such as the parameters designated “generic”, “reflectivity” and “transparency”.
  • the "generic” parameter is used to adjust the overall appearance of the object such as its color for example.
  • the "reflectivity” parameter allows you to adjust the reflections of the object, for example, to obtain a mat material (diffuse reflection) or a mirror effect (specular reflection).
  • the "transparency” parameter allows you to adjust the transparency of the object.
  • a texture is a 2D image that is applied to a 3D model, usually after the material is applied, to represent surface details.
  • a texture is for example the 2D image of a logo or a brand label on an object.
  • the operation of adding texture is called "texture mapping" by those skilled in the art.
  • textures can be applied to a material to obtain a realistic 3D model reproducing the object in a fine way. This is then referred to as “texture multimapping” or “multimapping” in English.
  • Fig. 1 shows six simplified 2D images, labeled PC1 to PC6, respectively representing a bottle of cider, a can of beer, a bottle of oil, a bottle of soda, a can of paint and a packet of cereal.
  • a cylindrical shape characterizes the cider bottle in picture PC1, the beer can in picture PC2, the oil bottle in picture PC3, the soda bottle in picture PC4 and the paint can of the PC5 image.
  • the package of cereals in image PC6 is characterized by a parallelepipedal shape.
  • a glass material with high specular reflection characterizes the cider bottle in image PC1.
  • a metal material, with high specular reflection characterizes the beer can in picture PC2.
  • a plastic material, with a medium specular reflection characterizes the oil bottle in picture PC3.
  • a plastic material, with a medium specular reflection characterizes the soda bottle in picture PC4.
  • a metal material, with very low reflection of matt material characterizes the paint bucket in picture PC5.
  • a cardboard material, with very low reflection of matt material characterizes the cereal package in picture PC6.
  • An image texture characterizes the cider bottle in picture PC1, the beer can in picture PC2, the oil bottle in picture PC3, soda bottle in picture PC4, the paint pot in picture PC5 and cereal packet in picture PC6.
  • the system 1 according to the invention for the generation of 3D models is deployed via an IP data communication network, such as the Internet network, and uses hardware and software resources accessible via this network. network.
  • IP data communication network such as the Internet network
  • the system 1 uses software and hardware resources available from a cloud computing service provider CSP called “cloud service provider” in English.
  • System 1 uses at least one computer server SRC from cloud computing service provider CSP.
  • the computer server SRC comprises in particular a processor PROC which communicates with a data storage device HD, typically dedicated to the system 1, and conventional hardware devices such as network interfaces NI and other devices (not shown).
  • the processor PROC comprises one or more central data processing units (not shown) and volatile and non-volatile memories (not shown) for the execution of computer programs.
  • the system 1 comprises a software system SW for implementing the method for generating 3D models according to the invention.
  • the software system SW is hosted in the HD data storage device which typically includes one or more hard drives.
  • the method of the invention is implemented in particular by the execution by the processor PROC of code instructions of the software system SW.
  • the system 1 provides a 3D model generation service of the “SAAS” type which is made accessible to users through the IP network.
  • An SP software module is included in the SW software system and is dedicated to the implementation of this service.
  • this software module SP may include a user interface and / or a programming interface, called "API” (for "Application Programming Interface” in English), according to the embodiment of the invention.
  • IT systems or devices UD such as computers, tablets and / or smartphones
  • the users will be able to use the Internet browsers of their computer devices UD, or otherwise, for example, a software application exploiting 3D models for different purposes and which accesses the 3D model generation service of the system 1 through an interface " API ”, as noted above.
  • the users are typically clients of the 3D model generation service provided by the system 1.
  • the software system SW includes a convolutional neural network A1, known as the “CNN” network (for “Convolutional Neural Network” in English), authorizing the processing of multidimensional data and capable of in-depth training, or learning (known as “deep learning”). in English).
  • the convolutional neural network A1 is preferably here of the so-called “supervised” type, but not exclusively.
  • the convolutional neural network A1 could, for example, be developed using the Keras® library known to those skilled in the art as being an open source software library or “open source” in English.
  • the convolutional neural network A1 provides an artificial intelligence function which is pre-trained to recognize an object represented in a 2D image supplied as input and to suggest one or more 3D models indexed in a database of 3D models, marked DB3D at the Fig. 2.
  • the 3D model or models offered by the artificial intelligence function are closest to the object represented in the 2D image.
  • the software system SW also includes an INS model instantiation and processing software module which cooperates with the convolutional neural network A1.
  • the INS software module provides an adjustment function of the 3D model extracted from the database of 3D models to using the convolutional neural network A1, so as to generate and output a 3D model corresponding finely to the object represented by the 2D image.
  • I2D image data is inputted by a user UD and typically includes 2D two-dimensional image data, strictly speaking, as well as metadata that describes the 2D image.
  • the I2D image data is first processed by a certain number of convolutional layers CL which make it possible to extract, by successive filterings, characteristics present in the 2D image, such as a shape , texture, orientation and others.
  • CC classification layers of the convolutional neural network A1 then exploit the characteristics extracted by the convolution layers CL, as indexing characteristics, to identify, by successive filtering, classes of close 3D models, corresponding to the image data I2D , and finally suggest a 3D model (or several models) typically in the form of a non-textured 3D model, marked N3D in Fig. 2, and CA characteristics of material, texture and others to add to it.
  • the N3D model is the closest 3D model to the I2D image data identified by the convolutional neural network A1 in the DB3D model database.
  • the convolutional neural network A1 identifies the characteristics of materials, textures and others to be given to the N3D model in order to obtain a 3D model, marked 03D in FIG. 2, which corresponds finely to the I2D image data.
  • the characteristics of materials, textures and other identified CAs are added to the N3D model by means of 3D model processing software programs globally marked TM in Fig. 2.
  • the database of DB3D models contains a textured 3D model identified by the Al network and which corresponds to the I2D image data, it is this 3D model which will be provided directly instead of the N3D model. aforementioned.
  • the DB3D model database typically includes a library of textured 3D models and a library of untextured and unorganized 3D models. These libraries of 3D models in the DB3D model database are enriched over time.
  • the DB3D model database is part of a DS dataset, which is used for training the convolutional neural network A1.
  • the DS dataset essentially comprises the model database DB3D and 2D image data and is hosted here in the HD data storage device, together with the software library (not shown), for example the Keras® library, of the convolutional neural network A1.
  • the N3D model is processed by the INS model instantiation and processing software module in order to produce the finished 3D model, marked 03D, which is supplied to the user UD by the system 1 in response to the I2D image data.
  • the INS module comprises in particular the 3D model processing software TM software programs which process the N3D model in order to obtain the 03D model, based on the aforementioned characteristics CA identified by the convolutional neural network A1.
  • TM software programs include in particular MAT, TX and TRE programs which respectively perform the functions of adding materials such as metallic, shiny, matt or other material, adding textures such as an image, and adding special effects like a transparency, a relief or others.
  • the MAT, TX and TRE programs here are typically scripts in the Microsoft® C # programming language.
  • the functionalities of a 3D creation software application such as for example the functionalities of a Unity3D® type software application, could also be used by the INS software module to execute a 3D model generation or a processing.
  • the 03D models delivered by the INS model instantiation and processing software module can also be used by the system 1 so as to enrich the DS data set comprising the database of DB3D models.
  • the method for generating 3D models according to the invention essentially comprises four major steps, S1 to S4, for implementing the operation and processing operations described above.
  • Step S1 concerns the initial realization and enrichment of the DS dataset.
  • Step S1 involves an initial assembly and organization of image data, to obtain a first DS data set.
  • the DS data set is then reorganized to take account of its enrichment, in particular by adding 03D models delivered by the INS model instantiation and processing software module (see step S4).
  • the DS dataset must include a rich assemblage of very diverse image data in order to enable efficient training of the convolutional neural network A1.
  • the DS dataset obtained essentially comprises 2D image data and the database of A1.
  • DB3D images mentioned above containing a library of textured 3D models and a library of un-textured and unorganized 3D models.
  • Step S2 involves training the convolutional neural network A1.
  • Step S2 includes substeps S20 and S21.
  • the convolutional neural network A1 is configured for multiclassification of images based on several characteristics, namely, shape (designated SHAPE), material (designated MATERIAL), texture (designated TEXTURE) and various visual effects and / or effects that can be obtained by image processing, and the like.
  • the convolutional neural network A1 is also configured to provide a choice function (designated F_SELECTION) for the N3D models and to identify the aforementioned CA characteristics, as indicated above with reference to Fig. 2, based on recognition probabilities obtained. .
  • F_SELECTION a choice function for the N3D models and to identify the aforementioned CA characteristics, as indicated above with reference to Fig. 2, based on recognition probabilities obtained.
  • the configuration of the convolutional neural network A1 can be modified according to the needs of the application, for example, by expanding the number of classes in the filtering levels, or layers, of the A1 network or by increasing the depth of the branches.
  • the convolutional neural network A1 is first of all trained with the data set DS assembled initially, and subsequently to learn with the new image data having enriched the data set DS.
  • the DS data set is divided into three disjoint sets, namely, a first set of so-called training image data, a second so-called validation image data set and a third so-called test image data set.
  • the first set allows an iterative training algorithm of the A1 network to learn the characteristics of each class of images.
  • the training algorithm performs a validation test with image data from the second set to determine a classification success rate.
  • the training algorithm improves the success rate at each iteration by modifying weights associated with each neuron of the A1 network.
  • the invention allows for continuous improvement of the artificial intelligence process.
  • the pre-trained convolutional neural network A1 provides a prediction file, for example of CSV type (for “Comma-Separated Values” in English), containing a list of known 2D images. and various associated object classes.
  • a 3D model generator uses the prediction file to create a corresponding 3D model.
  • the 3D model is viewed by a system administrator 1 before validation and recording in the DB3D model database. If an error in the artificial intelligence process is noted by the administrator, it is corrected by modifying the prediction file which can then be reused for training the convolutional neural network A1.
  • step S21 the training process is completed.
  • An AMVIODEL neural model is then obtained, to which corresponds a weight matrix, which is recorded with its final success rate, called "accuracy" in English, in order to be used by the system 1.
  • the classification of 2D images by the artificial intelligence process is then done by matrix operations from the pixel matrices of the 2D images and the weight matrix of the AMVIODEL neural model.
  • the AMVIODEL neural model is of the multi-output type, several neural sub-models being associated with the different outputs.
  • the training of the convolutional neural network A1 can be done by jointly training the various neural sub-models synchronously or by training them independently asynchronously.
  • Step S3 concerns the exploitation of the neuronal model AMVIODEL.
  • I2D image data is supplied as an input to the convolutional neural network A1.
  • the neural model AMVIODEL provides the function F_SELECTION and authorizes the indexing of the 3D models, contained in the DB3D model database, closest to the I2D image data supplied as input.
  • the closest 3D, non-textured (N3D) or textured (03D) model or models are identified, and if necessary the software programs TM for the aforementioned processing to be applied to the 3D models.
  • a multiclassification of the incoming I2D images is carried out by the artificial intelligence process of the convolutional neural network A1 in order to determine suggestions of close 3D models and, optionally, of the processing operations to be applied to them in the process. using TM software programs for 3D model processing.
  • the convolutional neural network A1 issues suggestions SG1 to SGn for an incoming image I2D, which suggestions arise from the multiclassification performed for this incoming image I2D.
  • the SG1 suggestion arises from a classification of the incoming image I2D of an object, for example a glass bottle, into a main class of C_CYL objects and a secondary class of C_BEA objects.
  • the main class C_CYL groups here objects having a cylindrical shape and includes the secondary class C_BEA which groups beer bottles.
  • a 3D model, 03D2, associated with the secondary class C_BEA is proposed in this suggestion SG1.
  • a PS1 probability that the 03D2 model is the closest model to the glass bottle of the incoming image I2D is attached to the SG1 suggestion.
  • the SG2 suggestion arises from a classification of the incoming I2D image of the glass bottle into a main class of C_GEN objects and a secondary class of C_VAP objects.
  • the main class C_GEN is a generic class comprising different types of objects and includes the secondary class C_VAP which groups cylindrical shaped vaporizers.
  • a non-textured 3D model, N3D3, associated with the secondary class C_VAP, is proposed in this SG2 suggestion, as well as the application of a Mat3 material to this N3D3 model.
  • a PS2 probability that the model N3D3 with the material Mat3 is the closest model to the glass bottle of the incoming image I2D is attached to the suggestion SG2.
  • the SG3 suggestion arises from a classification of the incoming image I2D of the glass bottle into the main object class C_CYL and the secondary object class C_BEA mentioned above.
  • the suggestion with the highest probability is the one that is prioritized by the artificial intelligence process. It will be noted that the aforementioned probabilities could be replaced by weightings, percentages, success rates or the like according to the embodiments of the invention.
  • Step S4 concerns the processing of the N3D model by the INS model instantiation and processing software module in order to obtain the 03D model which finely corresponds to the I2D image data.
  • the 03D models obtained during this step S4 can be used to enrich the DS data set, as indicated above in relation to step S1.
  • Various tasks are performed in step S4 by the software module INS. More generally, scripts for modeling and processing 3D models typically in the Microsoft® C # programming language can be executed here, as well as the functionalities of a Unity3D® type software application.
  • the 03D model obtained is recorded preferentially, but not exclusively, in the Collada® format, known as “. dae ”.
  • a 3D visualization interface (not shown) is included in the INS software module for 3D models. This 3D visualization interface is typically developed in the C # programming language, in a Unity3D® type environment.
  • the convolutional neural network A1 emits suggestions SG (n-1), SGn and SG (n + 1) for an incoming image I2D, respectively with probabilities PS (n-1 ), PSn and PS (n + 1).
  • Suggestion SG (n-1) provides an untextured 3D model, N3Dp, with a standard MatS material to apply.
  • Suggestions SG (n) and SG (n + 1) both provide an untextured 3D model, N3Dq, with a matte material MatM and a material with reflection and transparency MatRT respectively.
  • the program for adding MAT materials includes scripts St (m-1), Stm and St (m + 1) dedicated respectively to adding the materials MatS, MatM and MatRT.
  • the three models 03Dp, 03Dq1 and 03Dq2 are presented to the user USER through a 3D visualization interface, VIS.
  • the process retains as the 03D model the one to which the highest probability is attached. Considering, for example, that the highest probability is PS (n-1), the 03Dp model is retained.
  • the input 2D image is the l2Da image of a product which is a glass bottle, for example, a cider bottle.
  • the artificial intelligence process identifies a class of products CL3 which corresponds to the glass bottle of image l2Da, among several classes of products CL1 to CL4.
  • the artificial intelligence process recognizes the glass bottle in image l2Da as belonging to product classes CL1 through CL4 with probabilities P1 through P4, respectively.
  • the probability P3 being the highest among the probabilities P1 to P4, it is the product class CL3 which is chosen as the membership class of the glass bottle in image l2Da. It is here essentially the shape of the glass bottle of the l2Da image, of cylindrical type, which will have enabled the artificial intelligence process to carry out this first selection.
  • the artificial intelligence process seeks to determine which product of the class CL3 is closest to the glass bottle of the l2Da image. For this, the artificial intelligence process here classifies products of class CL3 into two classes of products GP1 and GP2.
  • the artificial intelligence process recognizes the glass bottle in image l2Da as belonging to product classes GP1 and GP2 with probabilities P10 and P11, respectively. Since the probability P10 is higher than the probability P11, the product class GP1 is chosen as the membership class of the glass bottle in image l2Da. It is here essentially the glass material of the bottle in the l2Da image that allowed the artificial intelligence process to make this second selection.
  • Product class GP1 includes various glass bottles.
  • the artificial intelligence process here classifies the glass bottles of the GP1 class into three product classes GF1 to GF3, mainly based on the shape of the glass bottles. Three different bottle shapes FP1 to FP3 correspond to the product classes GF1 to GF3, respectively.
  • the artificial intelligence process recognizes the glass bottle of image l2Da as having the probabilities P17 through P19 of having the bottle shapes FP1 through FP3, respectively.
  • the probability P17 being the higher of the probabilities P17 and P19, it is the bottle shape FP1 which is chosen as being the shape of the glass bottle of the image l2Da.
  • N3Da non-textured 3D model, marked N3Da in Fig. 3, which is stored in the database of models BD3D.
  • the N3Da model is indexed by the artificial intelligence process to the l2Da image and is downloaded.
  • the INS model instantiation and processing software module resizes the N3Da model to match the product of the l2Da image and applies to it the glass material recognized by the artificial intelligence process and a texture extracted from the l2Da image .
  • the INS module incorporates a software application of the aforementioned Unity3D® type
  • the N3Da model is loaded into a scene of this software application in order to apply the material and the texture to it.
  • - R is a regularization parameter.
  • the nodes are the product classes CL1 to CL4, GP1, GP2, and GF1 to GF3.
  • the application of the choice function F_SELECTION for the calculation of probabilities, with R 0) is detailed in block B2 of Fig. 7.
  • the probabilities for the three branches CL3 / GP1 / GF1, CL3 / GP1 / GF2 and CL3 / GP1 / GF3 are given by F_SELECTION (GF1), F_SELECTION (GF2) and F_SELECTION (GF3), respectively.
  • the probability F_SELECTION (GF1) P3 * P10 * P17 of the branch CL3 / GP1 / GF1 is considered to be greater than the probabilities of other branches.
  • the artificial intelligence process therefore chooses the class GF1 and the 3D model, N3Da, as corresponding to the glass bottle in the image l2Da.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Geometry (AREA)
  • Architecture (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)

Abstract

Le système comprend un serveur informatique (SRC) et un dispositif de stockage de données (HD), le serveur informatique (SRC) étant connecté à un réseau de communication de données (IT) tel que le réseau Internet et autorisant des accès d'utilisateur. Conformément à l'invention, le système comprend un réseau neuronal convolutif (AI) de type multidimensionnel assurant une indexation dans une base de données de modèles numériques 3D, à l'aide d'un modèle neuronal et d'une fonction de choix, d'au moins un modèle numérique tridimensionnel (N3D, O3D) ayant au moins une caractéristique commune avec un objet représenté par des données d'image 2D entrantes (I2D), l'indexation résultant d'un classement des données d'image 2D entrantes dans différentes classes d'objets en fonction de caractéristiques reconnues dans les données d'image 2D entrantes à l'aide du modèle neuronal.

Description

PROCEDE ET SYSTEME DE GENERATION DE MODELES NUMERIQUES 3D
L’invention concerne de manière générale la génération de modèles numériques tridimensionnels, dits « modèles 3D ». Plus particulièrement, l’invention se rapporte à un procédé et à un système de génération de modèles numériques tridimensionnels.
La modélisation 3D est d’un grand intérêt pour appréhender un objet de manière holistique et améliorer la compréhension de celui-ci. Un modèle 3D remplace avantageusement un grand nombre d’images bidimensionnelles, dites images 2D ». Ainsi, à l’aide d’un logiciel de rendu 3D, le modèle 3D peut aisément être manipulé pour une visualisation de l’objet sous différents angles. Le modèle 3D autorise aussi une présentation animée de l’objet par le calcul d’une pluralité d’images qui sont affichées successivement, typiquement à une fréquence d’au moins 25 images par seconde.
Avec la modélisation 3D dite « temps réel », le modèle 3D est optimisé pour un calcul en temps réel des images, dont le rendu s'effectue directement sur le périphérique d'affichage. Cette technologie offre un niveau élevé d’interactivité avec l’utilisateur et de contrôle de l’animation par celui-ci, autorisant ainsi des possibilités d’immersion accrues et une meilleure expérience utilisateur.
La modélisation 3D trouve une application importante dans le commerce électronique, dit « e-commerce », et y connaît un fort développement depuis quelques années. La visualisation 3D des produits sur les sites marchands améliore la compréhension des produits par les clients. Avec un modèle 3D, le client peut interagir avec le produit, par exemple, en le faisant pivoter ou en zoomant sur des détails, ce qui accroît son niveau d’engagement vers un acte d’achat. Des animations exploitant des modèles 3D peuvent aisément être intégrées dans le site marchand, par exemple, pour mettre en avant des produits ou attirer l’attention du client.
Actuellement, la plupart des modèles 3D sont créés manuellement avec des logiciels de modélisation 3D tels que « Blender® », « 3Ds Max® », « Maya® » et autres. La création manuelle avec un logiciel d’un modèle 3D de bonne qualité est une activité qui peut requérir un temps de travail important.
Dans l’état de la technique, avec l’objectif d’améliorer à la situation décrite ci- dessus, il a été proposé un procédé de modélisation tridimensionnelle décrit par le document EP2381421A2. Ce procédé est mis en œuvre par ordinateur et est conçu pour générer de manière automatique un modèle tridimensionnel d'un produit à partir de données d’image bidimensionnelle. Dans ce procédé, des informations de forme sont extraites des données d’image bidimensionnelle, ainsi qu'une classe de formes tridimensionnelles à laquelle appartient le produit représenté. Un contour graphique tridimensionnel du produit est ensuite déterminé à partir des informations extraites. Un générateur de maillage génère un maillage tridimensionnel en fonction du contour graphique tridimensionnel déterminé et de la classe de formes tridimensionnelles du produit. Le modèle tridimensionnel du produit est obtenu par mappage d'images sur le maillage tridimensionnel. Les images projetées sur le maillage tridimensionnel sont extraites des données d’image bidimensionnelle du produit.
Le document US2019147221A1 décrit une méthode de sélection d’un modèle numérique tridimensionnel à partir d’une image fournie en entrée. Un objet est identifié dans l’image d’entrée et un ou plusieurs modèles tridimensionnels candidats pour une représentation de l’objet sont présélectionnés dans une base de données. Un modèle tridimensionnel candidat est finalement sélectionné pour représenter l'objet dans l'image d'entrée.
La présente invention a pour objectif de procurer un procédé perfectionné de génération de modèles numériques tridimensionnels, autorisant une génération aisée et à moindre coût de modèles numériques tridimensionnels qui soient adaptés, notamment, pour des applications temps réel sur des sites Internet.
Selon un premier aspect, l’invention concerne un procédé, mis en œuvre par ordinateur, de génération de modèles numériques tridimensionnels dans un système de génération de modèles numériques tridimensionnels pour des objets représentés dans des images bidimensionnelles, le procédé comprenant des étapes de : a) assemblage d’un jeu de données diversifiées comprenant des données d’images bidimensionnelles et une base de données de modèles numériques tridimensionnels, relatives à une pluralité d’objets ; b) entraînement d’un réseau neuronal convolutif de type multidimensionnel avec le jeu de données diversifiées de façon à obtenir un modèle neuronal issu de l’entraînement ; c) réception de données d’image bidimensionnelle entrantes représentant l’objet ; d) indexation dans la base de données de modèles numériques tridimensionnels, à l’aide du modèle neuronal et d’une fonction de choix, d’au moins un modèle numérique tridimensionnel ayant au moins une caractéristique commune avec l’objet représenté par les données d’image bidimensionnelle entrantes, l’indexation résultant d’un classement des données d’image bidimensionnelle entrantes dans différentes classes d’objets en fonction de caractéristiques reconnues dans les données d’image bidimensionnelle entrantes à l’aide du modèle neuronal, les caractéristiques reconnues comprenant au moins une caractéristique de forme, une caractéristique de matériau, une caractéristique de texture et/ou une caractéristique d’effet visuel ; e) extraction de la base de données de modèles numériques tridimensionnels du modèle numérique tridimensionnel indexé à l’étape d) ; f) ajout au modèle numérique tridimensionnel extrait à l’étape e) d’au moins une dite caractéristique de forme, de matériau, de texture ou d’effet visuel reconnue dans les données d’image bidimensionnelle entrantes et manquante dans le modèle numérique tridimensionnel extrait à l’étape e) ; et g) fourniture du modèle numérique tridimensionnel obtenu à l’étape f) en tant que modèle numérique tridimensionnel de l’objet représenté par les données d’image bidimensionnelle entrantes.
Selon une autre caractéristique particulière, la fonction de choix est basée sur des probabilités de reconnaissance des caractéristiques dans les données d’image bidimensionnelle entrantes.
Selon encore une autre caractéristique particulière, la base de données de modèles numériques tridimensionnels comprend des modèles numériques tridimensionnels texturés et/ou non texturés.
Selon encore une autre caractéristique particulière, le procédé comprend également une étape de : h) enrichissement du jeu de données diversifiées avec le modèle numérique tridimensionnel fourni à l’étape g).
Selon encore une autre caractéristique particulière, le procédé comprend également une étape de : i) visualisation tridimensionnelle d’une pluralité de modèles numériques tridimensionnels indexés à l’étape d), et sélection manuelle d’un des modèles numériques tridimensionnels visualisés en tant que modèle numérique tridimensionnel de l’objet représenté par les données d’image bidimensionnelle entrantes.
Selon encore une autre caractéristique particulière, le procédé comprend également une étape de : j) sélection automatique, basée sur la fonction de choix, d’un modèle numérique tridimensionnel parmi une pluralité de modèles numériques tridimensionnels indexés à l’étape d) en tant que modèle numérique tridimensionnel de l’objet représenté par les données d’image bidimensionnelle entrantes.
Selon un autre aspect, l’invention concerne aussi un système de génération de modèles numériques tridimensionnels comprenant au moins un serveur informatique et un dispositif de stockage de données associé au serveur informatique, le serveur informatique étant connecté à un réseau de communication de données et autorisant des accès d’utilisateur au système. Conformément à l’invention, le système comprend des moyens supplémentaires pour la mise en œuvre du procédé de génération de modèles numériques tridimensionnels décrit brièvement ci-dessus, ces moyens supplémentaires comprenant un réseau neuronal convolutif.
Le système de génération de modèles numériques tridimensionnels de l’invention est réalisable par exemple sous la forme d’un système accessible en mode dit « SAAS » (pour « Software As a Service » en anglais).
Selon encore un autre aspect, l’invention concerne aussi un programme d’ordinateur comprenant des instructions de code de programme mettant en œuvre le procédé de génération de modèles numériques tridimensionnels décrit brièvement ci- dessus lorsque celles-ci sont exécutées par un processeur de dispositif informatique.
D’autres avantages et caractéristiques de la présente invention apparaîtront plus clairement à la lecture de la description ci-dessous de plusieurs formes de réalisation particulières en référence aux dessins annexés, dans lesquels :
- La Figure 1 montre six images 2D simplifiées de produits ayant des formes, des matériaux et des textures différentes.
- La Figure 2 est une vue générale simplifiée d’une forme de réalisation particulière du système de génération de modèles 3D selon l’invention.
- La Figure 3 est un bloc-diagramme montrant différentes étapes comprises dans le procédé de génération de modèles 3D selon l’invention.
- La Figure 4 est un bloc-diagramme illustrant une multiclassification d’images 2D entrantes réalisée dans le procédé de génération de modèles 3D selon l’invention.
- La Figure 5 est un bloc-diagramme illustrant l’émission de suggestions de modèles 3D et de traitements à réaliser sur les modèles 3D dans le système de génération de modèles 3D selon l’invention. - La Figure 6 est un bloc-diagramme un exemple illustratif de suggestion de modèle 3D par le processus d’intelligence artificielle du système de génération de modèles 3D selon l’invention.
- La Figure 7 montre une fonction de choix utilisée par le processus d’intelligence artificielle du système de génération de modèles 3D selon l’invention.
Dans la description qui suit, à des fins d'explication et non de limitation, des détails spécifiques sont fournis afin de permettre une compréhension de la technologie décrite. Il sera évident pour l'homme du métier que d'autres modes ou formes de réalisation peuvent être mis en pratique en dehors des détails spécifiques décrits ci-dessous. Dans d'autres cas, les descriptions détaillées de méthodes, dispositifs, techniques, etc., bien connus sont omises afin de ne pas complexifier la description avec des détails inutiles.
Dans la description qui suit plus bas du procédé et du système de génération de modèles 3D selon l’invention, les objets représentés dans les images sont caractérisés essentiellement par des formes, des matériaux, des textures et des effets visuels. Le matériau est défini comme étant le type de matière qui entre dans la construction d’un objet. Dans la conception d’un objet en 3D, le matériau est responsable en grande partie du rendu visuel de l’objet. Le matériau a des propriétés particulières et est donc une caractéristique distinctive qui permet de distinguer les objets.
Ainsi, les matériaux pourront être classés arbitrairement, par exemple, en trois grandes catégories, à savoir, une classe dite des métaux, une classe dite des matériaux de type céramique et une classe dite des polymères. Dans la classe des métaux seront compris par exemple le fer, l’acier, le cuivre et l’aluminium. Dans la classe des matériaux de type céramique seront compris par exemple la céramique et le verre. Dans la classe des polymères seront compris par exemple le bois, le carton, la matière plastique, le cuir et le caoutchouc.
De manière générale, dans la modélisation 3D, des éditeurs de matériaux permettent habituellement de créer des matériaux standard ayant des paramètres ajustables. Un programme ou script d’ajout de matériau sur un modèle 3D peut contrôler les paramètres d’un matériau standard de façon à obtenir des effets visuels souhaités. Ainsi, par exemple, l’éditeur de matériaux contenu dans une application logicielle de type Unity3D® autorise l’ajustement de paramètres sur un matériau standard, comme les paramètres désignés « générique », « réflectivité » et « transparence ». Le paramètre « générique » permet d’ajuster l’aspect global de l’objet comme sa couleur par exemple. Le paramètre « réflectivité » permet d’ajuster les reflets de l’objet, par exemple, pour obtenir un matériau mat (réflexion diffuse) ou un effet miroir (réflexion spéculaire). Le paramètre « transparence » permet d’ajuster la transparence de l’objet.
Une texture est une image 2D qui est appliquée sur un modèle 3D, généralement après l’application du matériau, pour représenter des détails de surface. Une texture est par exemple l’image 2D d’un logo ou d’une étiquette de marque sur un objet. L’opération d’ajout de texture est dite « mappage de texture » par l’homme du métier. Plusieurs textures peuvent être appliquées sur un matériau pour obtenir un modèle 3D réaliste reproduisant l’objet de manière fine. On parle alors de « multimappage de texture » ou « multimapping » en anglais.
A titre illustratif, différents exemples d’objets, sous la forme de produits commercialisés, sont représentés schématiquement à la Fig .1 . Ainsi, la Fig .1 montre six images 2D simplifiées, repérées PC1 à PC6, représentant respectivement une bouteille de cidre, une cannette de bière, une bouteille d’huile, une bouteille de soda, un pot de peinture et un paquet de céréales.
Une forme cylindrique caractérise la bouteille de cidre de l’image PC1 , la cannette de bière de l’image PC2, la bouteille d’huile de l’image PC3, la bouteille de soda de l’image PC4 et le pot de peinture de l’image PC5. Le paquet de céréales de l’image PC6 est lui caractérisé par une forme parallélépipédique.
Un matériau verre, avec une réflexion spéculaire élevée, caractérise la bouteille de cidre de l’image PC1. Un matériau métal, avec une réflexion spéculaire élevée, caractérise la cannette de bière de l’image PC2. Un matériau plastique, avec une réflexion spéculaire moyenne, caractérise la bouteille d’huile de l’image PC3. Un matériau plastique, avec une réflexion spéculaire moyenne, caractérise la bouteille de soda de l’image PC4. Un matériau métal, avec réflexion très faible de matériau mat, caractérise le pot de peinture de l’image PC5. Un matériau carton, avec réflexion très faible de matériau mat, caractérise le paquet de céréales de l’image PC6.
Une texture sous forme d’image caractérise la bouteille de cidre de l’image PC1 , la cannette de bière de l’image PC2, la bouteille d’huile de l’image PC3, la bouteille de soda de l’image PC4, le pot de peinture de l’image PC5 et le paquet de céréales de l’image PC6.
En référence aux Figs.2 à 7, il est maintenant décrit ci-dessous, à titre d’exemple, une forme de réalisation particulière 1 d’un système de génération de modèles 3D selon l’invention. En référence plus particulièrement à la Fig.2, le système 1 selon l'invention pour la génération de modèles 3D est déployé via un réseau de communication de données IP, tel que le réseau Internet, et utilise des ressources matérielles et logicielles accessibles via ce réseau. Ainsi, dans cet exemple de réalisation, le système 1 utilise des ressources logicielles et matérielles disponibles chez un fournisseur de services d’informatique en nuage CSP dit « cloud service provider » en anglais.
Le système 1 utilise au moins un serveur informatique SRC du fournisseur de services d’informatique en nuage CSP. Le serveur informatique SRC comprend notamment un processeur PROC qui communique avec un dispositif de stockage de données HD, dédié typiquement aux système 1 , et des dispositifs matériels conventionnels tels que des interfaces réseau NI et autres dispositifs (non représentés). Le processeur PROC comprend une ou plusieurs unités centrales de traitement de données (non représentées) et des mémoires volatiles et non-volatiles (non représentées) pour l’exécution de programmes informatiques.
Le système 1 comprend un système logiciel SW pour la mise en œuvre du procédé de génération de modèles 3D selon l’invention. Le système logiciel SW est hébergé dans le dispositif de stockage de données HD qui comprend typiquement un ou plusieurs disques durs. Le procédé de l'invention est mis en œuvre notamment par l'exécution par le processeur PROC d'instructions de code du système logiciel SW.
Dans cette forme de réalisation, le système 1 procure un service de génération de modèles 3D de type « SAAS » qui est rendu accessible à des utilisateurs à travers le réseau IP. Un module logiciel SP est inclut dans le système logiciel SW et est dédié à l’implémentation de ce service. Typiquement, ce module logiciel SP pourra comprend une interface utilisateur et/ou une interface de programmation, dite « API » (pour « Application Programming Interface » en anglais), selon la forme de réalisation de l’invention.
Les utilisateurs communiquent avec le système 1 par l’intermédiaire de leurs systèmes ou dispositifs informatiques UD, tels que des ordinateurs, des tablettes et/ou des smartphones, connectés au réseau IP. Pour cela, les utilisateurs pourront utiliser les navigateurs Internet de leurs dispositifs informatiques UD, ou autrement, par exemple, une application logicielle exploitant des modèles 3D à différentes fins et qui accède au service de génération de modèles 3D du système 1 à travers une interface « API », comme indiquée ci-dessus. Les utilisateurs sont typiquement des clients du service de génération de modèles 3D procuré par le système 1 . Le système logiciel SW comprend un réseau neuronal convolutif Al, dit réseau « CNN » (pour « Convolutional Neural Network » en anglais), autorisant le traitement de données multidimensionnellllnityes et capable d’un entraînement, ou apprentissage, approfondi (dit « deep learning » en anglais). Le réseau neuronal convolutif Al est de préférence ici du type dit « supervisé », mais pas exclusivement. Le réseau neuronal convolutif Al pourra, par exemple, être développé à l’aide de la bibliothèque Keras® connue de l’homme du métier comme étant une bibliothèque logicielle à code source ouvert ou « open source » en anglais.
Le réseau neuronal convolutif Al procure une fonction d’intelligence artificielle qui est pré-entrainée pour reconnaître un objet représenté dans une image 2D fournie en entrée et suggérer un ou plusieurs modèles 3D indexés dans une base de données de modèles 3D, repérée DB3D à la Fig.2. Le ou les modèles 3D proposés par la fonction d’intelligence artificielle sont les plus proches de l’objet représenté dans l’image 2D.
Le système logiciel SW comprend également un module logiciel d’instanciation et de traitement de modèle INS qui coopère avec le réseau neuronal convolutif Al. Le module logiciel INS procure une fonction d’ajustement du modèle 3D extrait de la base de données de modèles 3D à l’aide du réseau neuronal convolutif Al, de façon à générer et fournir en sortie un modèle 3D correspondant de manière fine à l’objet représenté par l’image 2D.
Ainsi, comme montré schématiquement à la Fig.2, des données d’image I2D sont fournies en entrée par un utilisateur UD et comprennent typiquement des données d’image bidimensionnelle 2D, à proprement parlé, ainsi que des métadonnées qui décrivent l’image 2D. Dans le réseau neuronal convolutif Al, les données d’image I2D sont d’abord traitées par un certain nombre de couches de convolution CL qui permettent d’extraire par des filtrages successifs des caractéristiques présentes dans l’image 2D, telles qu’une forme, une texture, une orientation et autres. Des couches de classification CC du réseau neuronal convolutif Al exploitent ensuite les caractéristiques extraites par les couches de convolution CL, en tant que caractéristiques d’indexation, pour identifier par des filtrages successifs des classes de modèles 3D proches, correspondant aux données d’image I2D, et suggérer finalement un modèle 3D (ou plusieurs modèles) typiquement sous la forme d’un modèle 3D non texturé, repéré N3D à la Fig.2, et de caractéristiques CA de matériau, de texture et autres à ajouter à celui-ci. Le modèle N3D est le modèle 3D le plus proche des données d’image I2D identifié par le réseau neuronal convolutif Al dans la base de données de modèles DB3D. Le réseau neuronal convolutif Al identifie les caractéristiques de matériaux, de textures et autres à octroyer au modèle N3D pour obtenir un modèle 3D, repéré 03D à la Fig.2, qui correspond finement aux données d’image I2D. Les caractéristiques de matériaux, de textures et autres CA identifiées sont ajoutées au modèle N3D au moyen de programmes logiciels de traitement de modèle 3D repérés globalement TM à la Fig.2.
Bien entendu, dans le cas où la base de données de modèles DB3D contient un modèle 3D texturé identifié par le réseau Al et qui correspond aux données d’image I2D, c’est ce modèle 3D qui sera fourni directement à la place du modèle N3D susmentionné.
La base de données de modèles DB3D comporte typiquement une bibliothèque de modèles 3D texturés et une bibliothèque de modèles 3D non texturés et non organisés. Ces bibliothèques de modèles 3D de la base de données de modèles DB3D sont enrichies au cours du temps. La base de données de modèles DB3D fait partie d’un jeu de données DS, dit « dataset » en anglais, qui est utilisé pour l’entraînement du réseau neuronal convolutif Al. Le jeu de données DS comprend essentiellement la base de données de modèles DB3D et des données d’images 2D et est hébergé ici dans le dispositif de stockage de données HD, conjointement avec la bibliothèque logicielle (non représentée), par exemple la bibliothèque Keras®, du réseau neuronal convolutif Al.
Comme montré schématiquement à la Fig.2, le modèle N3D est traité par le module logiciel d’instanciation et de traitement de modèle INS afin de produire le modèle 3D fini, repéré 03D, qui est fourni à l’utilisateur UD par le système 1 en réponse aux données d’image I2D. Le module INS comporte notamment les programmes logiciels TM de traitement de modèle 3D qui traitent le modèle N3D afin d’obtenir le modèle 03D, en se basant sur les caractéristiques CA susmentionnées identifiées par le réseau neuronal convolutif Al. Dans cet exemple de réalisation, les programmes logiciels TM comprennent notamment des programmes MAT, TX et TRE qui réalisent respectivement des fonctions d’ajout de matériaux comme un matériau métallique, brillant, mat ou autres, d’ajout de textures comme une image, et d’ajout d’effets spéciaux comme une transparence, un relief ou autres. Les programmes MAT, TX et TRE sont ici typiquement des scripts dans le langage de programmation C# de Microsoft®. Par ailleurs, des fonctionnalités d’une application logicielle de création 3D, comme par exemple des fonctionnalités d’une l’application logicielle de type Unity3D®, pourront aussi être exploitées par le module logiciel INS pour exécuter une génération de modèle 3D ou un traitement particulier. Les modèles 03D délivrés par le module logiciel d’instanciation et de traitement de modèle INS pourront également être exploités par le système 1 de façon à enrichir le jeu de données DS comprenant la base de données de modèles DB3D.
En référence à la Fig.3, le procédé de génération de modèles 3D selon l’invention comprend essentiellement quatre grandes étapes, S1 à S4, pour la mise en œuvre du fonctionnement et des opérations de traitement décrits plus haut.
L’étape S1 concerne la réalisation initiale et l’enrichissement du jeu de données DS. L’étape S1 comporte un assemblage initial et l’organisation de données d’images, afin d’obtenir un premier jeu de données DS. Le jeu de données DS est réorganisé ensuite pour tenir compte de l’enrichissement de celui-ci, notamment par l’ajout de modèles 03D délivrés par le module logiciel d’instanciation et de traitement de modèle INS (cf. étape S4). Le jeu de données DS doit comprendre un assemblage riche de données d’images très diversifiées afin de permettre un entraînement performant du réseau neuronal convolutif Al. Le jeu de données DS obtenu comprend essentiellement des données d’images 2D et la base de données d’images DB3D susmentionnée contenant une bibliothèque de modèles 3D texturés et une bibliothèque de modèles 3D non texturés et non organisés.
L’étape S2 concerne l’entraînement du réseau neuronal convolutif Al. L’étape S2 inclut des sous-étapes S20 et S21 .
Le réseau neuronal convolutif Al est configuré pour une multiclassification des images basée sur plusieurs caractéristiques, à savoir, la forme (désignée SHAPE), le matériau (désigné MATERIAL), la texture (désignée TEXTURE) et différents effets visuels et/ou effets pouvant être obtenus par des traitements d’image, et autres. Le réseau neuronal convolutif Al est configuré également pour procurer une fonction de choix (désignée F_SELECTION) pour les modèles N3D et identifier les caractéristiques CA susmentionnées, comme indiqué plus haut en référence à la Fig.2, en se basant sur des probabilités de reconnaissance obtenues. On notera que la configuration du réseau neuronal convolutif Al pourra être modifiée selon les besoins de l’application, par exemple, en élargissant le nombre des classes dans les niveaux, ou couches, de filtrage du réseau Al ou en augmentant la profondeur des branches.
A l’étape S20, le réseau neuronal convolutif Al est tout d’abord entraîné avec le jeu de données DS assemblé initialement, et par la suite pour apprendre avec les nouvelles données d’images ayant enrichi le jeu de données DS. Pour entraîner le réseau neuronal convolutif Al, le jeu de données DS est divisé en trois ensembles disjoints, à savoir, un premier ensemble de données d’images dit d’entraînement ou « training » en anglais, un deuxième ensemble de données d’images dit de validation et un troisième ensemble de données d’images dit de test. Le premier ensemble permet à un algorithme d’entraînement itératif du réseau Al d’apprendre les caractéristiques de chaque classe d’images. A chaque étape de l’entrainement, l’algorithme d’entraînement effectue un test de validation avec les données d’images du deuxième ensemble afin de déterminer un taux de réussite dans la classification. L’algorithme d’entraînement améliore le taux de réussite à chaque itération en modifiant des poids associés à chaque neurone du réseau Al.
De manière générale, l’invention autorise une amélioration continue du processus d’intelligence artificielle. Ainsi, lorsqu’une nouvelle image 2D est reçue, le réseau neuronal convolutif Al pré-entraîné fournit un fichier de prédiction, par exemple de type CSV (pour « Comma-Separated Values » en anglais), contenant une liste d’images 2D connues et de différentes classes d’objets associées. Un générateur de modèle 3D exploite le fichier de prédiction afin de créer un modèle 3D correspondant. Le modèle 3D est visualisé par un administrateur du système 1 avant validation et enregistrement dans la base de données de modèles DB3D. En cas d’erreur du processus d’intelligence artificielle, relevée par l’administrateur, celle-ci est corrigée par modification du fichier de prédiction qui peut alors être réutilisé pour l’entraînement du réseau neuronal convolutif Al.
A l’étape S21 , le processus d’entraînement est achevé. Il est alors obtenu un modèle neuronal AMVIODEL, auquel correspond une matrice de poids, qui est enregistré avec son taux de réussite final, dit « accuracy » en anglais, afin d’être exploité par le système 1 . La classification des images 2D par le processus d’intelligence artificielle se fait alors par des opérations matricielles à partir des matrices de pixels des images 2D et de la matrice de poids du modèle neuronal AMVIODEL.
Dans la présente invention, le modèle neuronal AMVIODEL est de type multi-sorties, plusieurs sous-modèles neuronaux étant associés aux différentes sorties. Dans l’étape S20 précédente, on notera que l’entraînement du réseau neuronal convolutif Al pourra se faire en entraînant conjointement les différents sous-modèles neuronaux de manière synchrone ou en les entraînant indépendamment de manière asynchrone.
L’étape S3 concerne l’exploitation du modèle neuronal AMVIODEL. Des données d’images I2D sont fournies en entrée au réseau neuronal convolutif Al. Le modèle neuronal AMVIODEL procure la fonction F_SELECTION et autorise l’indexation des modèles 3D, contenus dans la base de données de modèles DB3D, les plus proches des données d’images I2D fournies en entrée. A l’étape S3, il est identifié le ou les modèles 3D, non texturés (N3D) ou texturés (03D) les plus proches, et si nécessaire les programmes logiciels TM pour les traitements susmentionnés à appliquer aux modèles 3D.
Conformément au procédé de l’invention, une multiclassification des images I2D entrantes est réalisée par le processus d’intelligence artificielle du réseau neuronal convolutif Al afin de déterminer des suggestions de modèles 3D proches et, éventuellement, des traitements à appliquer à ceux-ci au moyen des programmes logiciels TM de traitement de modèle 3D.
Ainsi, dans l’exemple illustratif montré à la Fig .4, le réseau neuronal convolutif Al émet des suggestions SG1 à SGn pour une image entrante I2D, suggestions qui découlent de la multiclassification réalisée pour cette image entrante I2D.
La suggestion SG1 découle d’une classification de l’image entrante I2D d’un objet, par exemple une bouteille en verre, dans une classe principale d’objets C_CYL et une classe secondaire d’objets C_BEA. La classe principale C_CYL regroupe ici des objets ayant une forme cylindrique et comprend la classe secondaire C_BEA qui regroupe des bouteilles de bière. Un modèle 3D, 03D2, associé à la classe secondaire C_BEA, est proposé dans cette suggestion SG1 . Une probabilité PS1 pour que le modèle 03D2 soit le modèle le plus proche de la bouteille en verre de l’image entrante I2D est attachée à la suggestion SG1 . La suggestion SG2 découle d’une classification de l’image entrante I2D de la bouteille en verre dans une classe principale d’objets C_GEN et une classe secondaire d’objets C_VAP. La classe principale C_GEN est une classe générique comprenant différents types d’objets et comprend la classe secondaire C_VAP qui regroupe des vaporisateurs de forme cylindrique. Un modèle 3D non texturé, N3D3, associé à la classe secondaire C_VAP, est proposé dans cette suggestion SG2, ainsi que l’application d’un matériau Mat3 à ce modèle N3D3. Une probabilité PS2 pour que le modèle N3D3 avec le matériau Mat3 soit le modèle le plus proche de la bouteille en verre de l’image entrante I2D est attachée à la suggestion SG2. La suggestion SG3 découle d’une classification de l’image entrante I2D de la bouteille en verre dans la classe principale d’objets C_CYL et la classe secondaire d’objets C_BEA susmentionnées. Un modèle 3D, 03D1 , différent du modèle 03D2 de la suggestion SG1 et associé également à la classe secondaire C_BEA, est proposé dans cette suggestion SG3. Une probabilité PS3 pour que le modèle 03D1 soit le modèle le plus proche de la bouteille en verre de l’image entrante I2D est attachée à la suggestion SG3. La suggestion ayant la probabilité la plus élevée est celle qui est priorisée par le processus d’intelligence artificielle. On notera que les probabilités susmentionnées pourront être remplacées par des pondérations, des pourcentages, des taux de réussite ou autres selon les formes de réalisation de l’invention.
L’étape S4 concerne les traitements apportés au modèle N3D par le module logiciel d’instanciation et de traitement de modèle INS afin d’obtenir le modèle 03D qui correspond finement aux données d’image I2D. Les modèles 03D obtenus lors de cette étape S4 pourront être exploités pour un enrichissement du jeu de données DS, comme indiqué plus haut relativement à l’étape S1 .
Différentes tâches, comme l’exécution sur le modèle N3D des programmes susmentionnés MAT, TX et TRE et autres, sont réalisées à l’étape S4 par le module logiciel INS. Plus généralement, des scripts de modélisation et de traitement de modèles 3D typiquement dans le langage de programmation C# de Microsoft® pourront être exécutés ici, ainsi que des fonctionnalités d’une application logicielle de type Unity3D®. Le modèle 03D obtenu est enregistré préférentiellement, mais pas exclusivement, au format Collada®, dit «. dae ». De plus, une interface de visualisation 3D (non représentée) est comprise dans le module logiciel INS pour des modèles 3D. Cette interface de visualisation 3D est développée typiquement dans le langage de programmation C#, dans un environnement de type Unity3D®.
Dans l’exemple illustratif montré à la Fig.5, le réseau neuronal convolutif Al émet des suggestions SG(n-1 ), SGn et SG(n+1) pour une image entrante I2D, respectivement avec des probabilités PS(n-1 ), PSn et PS(n+1 ). La suggestion SG(n-1 ) propose un modèle 3D non texturé, N3Dp, avec un matériau standard MatS à appliquer. Les suggestions SG(n) et SG(n+1 ) proposent toutes deux un modèle 3D non texturé, N3Dq, avec respectivement un matériau mat MatM et un matériau avec réflexion et transparence MatRT. Dans le module logiciel INS, le programme d’ajout de matériaux MAT comprend des scripts St(m-1 ), Stm et St(m+1 ) dédiés respectivement à l’ajout des matériaux MatS, MatM et MatRT. Les traitements effectués par les scripts St(m-1 ), Stm et St(m+1 ) sur les modèles N3Dp, N3Dq, permettent d’obtenir des modèles 3D, 03Dp, 03Dq1 et 03Dq2, correspondant respectivement aux suggestions SG(n-1 ), SGn et SG(n+1 ). Dans cet exemple, les trois modèles 03Dp, 03Dq1 et 03Dq2 sont présentés à l’utilisateur USER à travers une interface de visualisation 3D, VIS. La possibilité est laissée à l’utilisateur USER de choisir le modèle retenu 03D parmi les modèles 03Dp, 03Dq1 et 03Dq2. A défaut de choix par l’utilisateur USER, le processus retient comme le modèle 03D celui auquel est attachée la probabilité la plus élevée. En considérant, par exemple, que la probabilité la plus élevée est PS(n-1 ), c’est le modèle 03Dp qui est retenu.
En référence maintenant plus particulièrement à la Fig.6, il est décrit ci-dessous un autre exemple illustratif du processus d’intelligence artificielle mis en œuvre par le procédé de l’invention pour reconnaître un produit dans une image 2D et suggérer un modèle 3D correspondant. Comme visible à la Fig.6, dans cet exemple illustratif, l’image 2D fournie en entrée est l’image l2Da d’un produit qui est une bouteille en verre, par exemple, une bouteille de cidre.
Dans un premier temps, le processus d’intelligence artificielle, avec le modèle neuronal AMVIODEL et la fonction de suggestion F_SELECTION, identifie une classe de produits CL3 qui correspond à la bouteille en verre de l’image l2Da, parmi plusieurs classes de produits CL1 à CL4. Le processus d’intelligence artificielle reconnaît la bouteille en verre de l’image l2Da comme appartenant aux classes de produits CL1 à CL4 avec des probabilités P1 à P4, respectivement. La probabilité P3 étant celle la plus élevée parmi les probabilités P1 à P4, c’est la classe de produits CL3 qui est choisie en tant que classe d’appartenance de la bouteille en verre de l’image l2Da. C’est ici essentiellement la forme de la bouteille en verre de l’image l2Da, de type cylindrique, qui aura permis au processus d’intelligence artificielle de réaliser cette première sélection.
Après que la bouteille en verre de l’image l2Da ait été identifiée comme faisant partie de la classe de produits CL3, le processus d’intelligence artificielle cherche à déterminer le produit de la classe CL3 qui se rapproche le plus de la bouteille en verre de l’image l2Da. Pour cela, le processus d’intelligence artificielle classe ici les produits de la classe CL3 en deux classes de produits GP1 et GP2. Le processus d’intelligence artificielle reconnaît la bouteille en verre de l’image l2Da comme appartenant aux classes de produits GP1 et GP2 avec des probabilités P10 et P11 , respectivement. La probabilité P10 étant plus élevée que la probabilité P11 , c’est la classe de produits GP1 qui est choisie en tant que classe d’appartenance de la bouteille en verre de l’image l2Da. C’est ici essentiellement le matériau verre de la bouteille de l’image l2Da qui aura permis au processus d’intelligence artificielle de réaliser cette deuxième sélection.
Le classe de produits GP1 comprend différentes bouteilles en verre. Le processus d’intelligence artificielle classe ici les bouteilles en verre de la classe GP1 en trois classes de produits GF1 à GF3, en se basant essentiellement sur la forme des bouteilles en verre. Trois formes de bouteille FP1 à FP3 distinctes correspondent aux classes de produits GF1 à GF3, respectivement. Le processus d’intelligence artificielle reconnaît la bouteille en verre de l’image l2Da comme ayant les probabilités P17 à P19 d’avoir les formes de bouteille FP1 à FP3, respectivement. La probabilité P17 étant la plus élevée des probabilités P17 et P19, c’est la forme de bouteille FP1 qui est choisie comme étant la forme de la bouteille en verre de l’image l2Da.
A la classe de produits GF2, à laquelle est associée la forme de bouteille FP1 , correspond un modèle 3D non texturé, repéré N3Da à la Fig.3, qui est stocké dans la base de données de modèles BD3D. Le modèle N3Da est indexé par le processus d’intelligence artificielle à l’image l2Da et est téléchargé. Le module logiciel d’instanciation et de traitement de modèle INS redimensionne le modèle N3Da pour le faire correspondre au produit de l’image l2Da et lui applique le matériau verre reconnu par le processus d’intelligence artificielle et une texture extraite de l’image l2Da. Dans une forme de réalisation où le module INS incorpore une application logicielle de type Unity3D® susmentionnée, le modèle N3Da est chargé dans une scène de cette application logicielle afin de lui appliquer le matériau et la texture.
En référence également à la Fig.7, il est maintenant décrit ci-dessous un exemple de fonction de choix F_SELECTION utilisable par le processus d’intelligence artificielle.
Dans la fonction F_SELECTION représentée dans le bloc B1 à la Fig.7 :
- P(i) qui est la probabilité d’obtenir un nœud i,
- Pi(j) est la probabilité d’obtenir un nœud j sachant qu’on a déjà obtenu le nœud i,
- Pi ,j(k) est la probabilité d’obtenir un nœud k sachant qu’on a déjà obtenu les nœuds i et j, et
- R est un paramètre de régularisation.
Les probabilités conditionnelles Pi J entre des nœuds disjoints sont nulles.
Pour illustrer l’application de cette fonction de choix F_SELECTION, il est considéré ici l’exemple du processus d’intelligence artificielle de la Fig.6 pour reconnaître une bouteille en verre dans l’image l2Da et suggérer un modèle 3D correspondant.
Dans cet exemple de la Fig.6, les nœuds sont les classes de produits CL1 à CL4, GP1 , GP2, et GF1 à GF3. L’application de la fonction de choix F_SELECTION pour le calcul des probabilités, avec R = 0) est détaillée dans le bloc B2 de la Fig.7. Les probabilités pour les trois branches CL3/GP1/GF1 , CL3/GP1/GF2 et CL3/GP1/GF3 sont données par F_SELECTION(GF1), F_SELECTION(GF2) et F_SELECTION(GF3), respectivement. Dans cet exemple, la probabilité F_SELECTION(GF1) = P3*P10*P17 de la branche CL3/GP1/GF1 est considérée comme étant supérieure aux probabilités des autres branches. Le processus d’intelligence artificielle choisit donc la classe GF1 et le modèle 3D, N3Da, comme correspondant à la bouteille en verre de l’image l2Da.
Bien entendu, l’invention ne se limite pas aux exemples de réalisation qui ont été décrits ici à titre illustratifs. L’homme du métier, selon les applications de l’invention, pourra apporter différentes modifications et variantes entrant dans le champ de protection de l’invention.

Claims

REVENDICATIONS
1. Procédé mis en œuvre par ordinateur de génération de modèles numériques tridimensionnels (N3D, 03D) dans un système de génération de modèles numériques tridimensionnels (1) pour des objets représentés dans des images bidimensionnelles (I2D, l2Da), ledit procédé comprenant des étapes de a) assemblage (S1) d’un jeu de données diversifiées (DS) comprenant des données d’images bidimensionnelles et une base de données de modèles numériques tridimensionnels (DB3D), relatives à une pluralité d’objets, b) entraînement (S2) d’un réseau neuronal convolutif (Al) avec ledit jeu de données diversifiées (DS) de façon à obtenir un modèle neuronal (AMVIODEL) issu dudit entraînement, c) réception de données d’image bidimensionnelle entrantes (I2D, l2Da) représentant un dit objet, d) indexation (S3) dans ladite base de données de modèles numériques tridimensionnels (DB3D), à l’aide dudit modèle neuronal (AMVIODEL) et d’une fonction de choix (F_SELECTION), d’au moins un modèle numérique tridimensionnel (N3D, 03D) ayant au moins une caractéristique (SHAPE, MATERIAL, TEXTURE) commune avec ledit objet représenté par lesdites données d’image bidimensionnelle entrantes (I2D, l2Da), ladite indexation résultant d’un classement desdites données d’image bidimensionnelle entrantes dans différentes classes d’objets (C_CYL, C_BEA, C_VAP ; CL1 à CL4, GP1, GP2 , GF1 à GF3) en fonction de caractéristiques (SHAPE, MATERIAL, TEXTURE) reconnues dans lesdites données d’image bidimensionnelle entrantes (I2D, l2Da) à l’aide dudit modèle neuronal (AMVIODEL), lesdites caractéristiques reconnues comprenant au moins une caractéristique de forme (SHAPE), une caractéristique de matériau (MATERIAL), une caractéristique de texture (TEXTURE) et/ou une caractéristique d’effet visuel, e) extraction (S3) de ladite base de données de modèles numériques tridimensionnels (DB3D) dudit modèle numérique tridimensionnel (N3D, 03D) indexé à l’étape d), f) ajout (S4) audit modèle numérique tridimensionnel (N3D) extrait à l’étape e) d’au moins une dite caractéristique de forme (SHAPE), de matériau (MATERIAL), de texture (TEXTURE) ou d’effet visuel reconnue dans lesdites données d’image bidimensionnelle entrantes (I2D, l2Da) et manquante dans ledit modèle numérique tridimensionnel (N3D) extrait à l’étape e) et g) fourniture (S3) dudit modèle numérique tridimensionnel (N3D, 03D) obtenu à l’étape f) en tant que modèle numérique tridimensionnel (N3D, 03D) dudit objet représenté par lesdites données d’image bidimensionnelle entrantes (I2D, l2Da).
2. Procédé selon la revendication 1 , caractérisé en ce que ladite fonction de choix (F_SELECTION) est basée sur des probabilités de reconnaissance (PSn ; P1 à P4, P10, P11 , P17 à P19) desdites caractéristiques (SHAPE, MATERIAL, TEXTURE) dans lesdites données d’image bidimensionnelle entrantes (I2D, l2Da).
3. Procédé selon la revendication 1 ou 2, caractérisé en ce que ladite base de données de modèles numériques tridimensionnels (DB3D) comprend des modèles numériques tridimensionnels (N3D, 03D) texturés et/ou non texturés.
4. Procédé selon l’une quelconque des revendications 1 à 3, caractérisé en ce qu’il comprend également une étape de h) enrichissement (S1) dudit jeu de données diversifiées (DS) avec ledit modèle numérique tridimensionnel (03D) fourni à l’étape g).
5. Procédé selon l’une quelconque des revendications 1 à 4, caractérisé en ce qu’il comprend également une étape de i) visualisation tridimensionnelle (VIS) d’une pluralité de dits modèles numériques tridimensionnels (03Dp, 03Dq1 , 03Dq2) indexés à l’étape d).
6. Procédé selon l’une quelconque des revendications 1 à 5, caractérisé en ce qu’il comprend également une étape de j) sélection automatique (VIS), basée sur ladite fonction de choix (F_SELECTION, PS(n-1 ), PS(n), PS(n+1)) d’un dit modèle numérique tridimensionnel (03Dp) parmi une pluralité de dits modèles numériques tridimensionnels (03Dp, 03Dq1 , 03Dq2) indexés à l’étape d) en tant que modèle numérique tridimensionnel (03D) dudit objet représenté par lesdites données d’image bidimensionnelle entrantes (I2D, l2Da).
7. Système (1 ) de génération de modèles numériques tridimensionnels comprenant au moins un serveur informatique (SRC) et un dispositif de stockage de données (FID) associé audit serveur informatique (SRC), ledit serveur informatique (SRC) étant connecté à un réseau de communication de données (IP) et autorisant des accès d’utilisateur (UD) audit système (1), caractérisé en ce qu’il comprend des moyens supplémentaires (SW) pour la mise en œuvre du procédé de génération de modèles numériques tridimensionnels selon l’une quelconque des revendications 1 à 6, lesdits moyens supplémentaires (SW) comprenant un réseau neuronal convolutif (Al).
8. Programme d’ordinateur comprenant des instructions de code de programme mettant en œuvre le procédé selon l'une quelconque des revendications 1 à 6 lorsque celles-ci sont exécutées par un processeur (PROC) de dispositif informatique (SRC).
PCT/FR2020/052416 2019-12-12 2020-12-14 Procede et systeme de generation de modeles numeriques 3d WO2021116635A1 (fr)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US17/783,383 US20230019232A1 (en) 2019-12-12 2020-12-14 Method and system for generating 3d digital models
CA3160129A CA3160129A1 (fr) 2019-12-12 2020-12-14 Procede et systeme de generation de modeles numeriques 3d
EP20845411.6A EP4073765A1 (fr) 2019-12-12 2020-12-14 Procédé et système de génération de modèles numériques 3d

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR1914311A FR3104786B1 (fr) 2019-12-12 2019-12-12 Procédé et système de génération de modèles numériques 3d
FRFR1914311 2019-12-12

Publications (1)

Publication Number Publication Date
WO2021116635A1 true WO2021116635A1 (fr) 2021-06-17

Family

ID=70918493

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/FR2020/052416 WO2021116635A1 (fr) 2019-12-12 2020-12-14 Procede et systeme de generation de modeles numeriques 3d

Country Status (5)

Country Link
US (1) US20230019232A1 (fr)
EP (1) EP4073765A1 (fr)
CA (1) CA3160129A1 (fr)
FR (1) FR3104786B1 (fr)
WO (1) WO2021116635A1 (fr)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230186555A1 (en) * 2020-07-27 2023-06-15 Vrc Inc. Server and information processing method

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2381421A2 (fr) 2010-04-20 2011-10-26 Dassault Systèmes Génération automatique de modèles en 3D à partir d'images de produits de marchandises emballées
US20180114363A1 (en) * 2016-10-25 2018-04-26 Microsoft Technology Licensing, Llc Augmented scanning of 3d models
US20190147221A1 (en) 2017-11-15 2019-05-16 Qualcomm Technologies Inc. Pose estimation and model retrieval for objects in images
US20190347526A1 (en) * 2018-05-09 2019-11-14 Adobe Inc. Extracting material properties from a single image

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102204238B (zh) * 2008-09-02 2014-03-26 瑞士联邦理工大学，洛桑(Epfl) 便携式设备上的图像标注
US11164394B2 (en) * 2012-02-24 2021-11-02 Matterport, Inc. Employing three-dimensional (3D) data predicted from two-dimensional (2D) images using neural networks for 3D modeling applications and other applications
EP3179407B1 (fr) * 2015-12-07 2022-07-13 Dassault Systèmes Reconnaissance d'un objet modélisé 3d à partir d'une image 2d
WO2019203851A1 (fr) * 2018-04-20 2019-10-24 Hewlett-Packard Development Company, L.P. Classement et récupération de forme tridimensionnelle à l'aide de réseaux neuronaux convolutionnels et d'un vote majoritaire
US11321769B2 (en) * 2018-11-14 2022-05-03 Beijing Jingdong Shangke Information Technology Co., Ltd. System and method for automatically generating three-dimensional virtual garment model using product description
US11507781B2 (en) * 2018-12-17 2022-11-22 Bodygram, Inc. Methods and systems for automatic generation of massive training data sets from 3D models for training deep learning networks
US11361505B2 (en) * 2019-06-06 2022-06-14 Qualcomm Technologies, Inc. Model retrieval for objects in images using field descriptors

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2381421A2 (fr) 2010-04-20 2011-10-26 Dassault Systèmes Génération automatique de modèles en 3D à partir d'images de produits de marchandises emballées
US20180114363A1 (en) * 2016-10-25 2018-04-26 Microsoft Technology Licensing, Llc Augmented scanning of 3d models
US20190147221A1 (en) 2017-11-15 2019-05-16 Qualcomm Technologies Inc. Pose estimation and model retrieval for objects in images
US20190347526A1 (en) * 2018-05-09 2019-11-14 Adobe Inc. Extracting material properties from a single image

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
KEVIN CHEN: "Text2Shape: Generating Shapes from Natural Language by Learning Joint Embeddings - with supplementary material", 12TH EUROPEAN CONFERENCE ON COMPUTER VISION, ECCV 2012, vol. 11363, 2 December 2018 (2018-12-02), Berlin, Heidelberg, pages 1 - 40, XP055705012, ISSN: 0302-9743, ISBN: 978-3-642-36741-0, DOI: 10.1007/978-3-030-20893-6_7 *
M.T. SUZUKI: "A Web-based retrieval system for 3D polygonal models", PROCEEDINGS JOINT 9TH IFSA WORLD CONGRESS AND 20TH NAFIPS INTERNATIONAL CONFERENCE (CAT. NO. 01TH8569), vol. 4, 1 January 2001 (2001-01-01), pages 2271 - 2276, XP055084657, ISBN: 978-0-78-037078-4, DOI: 10.1109/NAFIPS.2001.944425 *
NGOC Q. LY ET AL: "Large-Scale Coarse-to-Fine Object Retrieval Ontology and Deep Local Multitask Learning", COMPUTATIONAL INTELLIGENCE AND NEUROSCIENCE, vol. 2019, 18 July 2019 (2019-07-18), US, pages 1 - 40, XP055705000, ISSN: 1687-5265, DOI: 10.1155/2019/1483294 *

Also Published As

Publication number Publication date
EP4073765A1 (fr) 2022-10-19
CA3160129A1 (fr) 2021-06-17
US20230019232A1 (en) 2023-01-19
FR3104786A1 (fr) 2021-06-18
FR3104786B1 (fr) 2022-01-21

Similar Documents

Publication Publication Date Title
Anantrasirichai et al. Artificial intelligence in the creative industries: a review
US11037274B2 (en) Denoising Monte Carlo renderings using progressive neural networks
US20200242774A1 (en) Semantic image synthesis for generating substantially photorealistic images using neural networks
AU2017228685B2 (en) Sketch2painting: an interactive system that transforms hand-drawn sketch to painting
CN104246656B (zh) 建议的视频编辑的自动检测
US20240296634A1 (en) Generating Augmented Reality Prerenderings Using Template Images
US20230360362A1 (en) Classifying image styles of images based on procedural style embeddings
US9940551B1 (en) Image generation using neural networks
US20230376328A1 (en) Personalized user interface
US11189060B2 (en) Generating procedural materials from digital images
WO2018228955A1 (fr) Procede d'apprentissage de descripteurs pour la detection et la localisation d'objets dans une video
US20210097372A1 (en) Co-Informatic Generative Adversarial Networks for Efficient Data Co-Clustering
JP2023058428A (ja) ３次元（３ｄ）オブジェクトの２次元（２ｄ）画像を操作するためのシステムおよび方法
JP2024504063A (ja) サードパーティ資産を用いて拡張現実体験を促進するためのコンピューティングプラットフォーム
EP4073765A1 (fr) Procédé et système de génération de modèles numériques 3d
US20240070762A1 (en) Techniques for generating a three dimensional model for a listing
WO2023091325A1 (fr) Rendu non photo-réaliste en temps réel
WO2010037956A1 (fr) Procede et systeme de generation d'une interface de controle des expressions faciales d'un avatar
US20230214663A1 (en) Few-Shot Domain Adaptation in Generative Adversarial Networks
US20230141395A1 (en) Modifying materials of three-dimensional digital scenes utilizing a visual neural network
US20230162425A1 (en) Real-Time Non-Photo-Realistic Rendering
US20220309345A1 (en) Machine Learning Model Based Embedding for Adaptable Content Evaluation
FR3138548A1 (fr) Methodes et appareils de determination et d'utilisation de directions controlables de l’espace de gan
CN117876531A (zh) 利用分割分支生成填入分割图的人类修复
CN117853612A (zh) 利用人类修复模型生成经修改的数字图像

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20845411

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 3160129

Country of ref document: CA

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2020845411

Country of ref document: EP

Effective date: 20220712