WO2018234677A1 - Procédé d'application de texture en réalité augmentée, système et kits correspondants - Google Patents

Procédé d'application de texture en réalité augmentée, système et kits correspondants Download PDF

Info

Publication number
WO2018234677A1
WO2018234677A1 PCT/FR2018/051457 FR2018051457W WO2018234677A1 WO 2018234677 A1 WO2018234677 A1 WO 2018234677A1 FR 2018051457 W FR2018051457 W FR 2018051457W WO 2018234677 A1 WO2018234677 A1 WO 2018234677A1
Authority
WO
WIPO (PCT)
Prior art keywords
real
virtual
marking
world
dimensional
Prior art date
Application number
PCT/FR2018/051457
Other languages
English (en)
Inventor
Franck Rolion
Etienne Roudaut
Original Assignee
Societe Bic
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Societe Bic filed Critical Societe Bic
Priority to US16/622,775 priority Critical patent/US11727647B2/en
Priority to EP18737955.7A priority patent/EP3642803A1/fr
Publication of WO2018234677A1 publication Critical patent/WO2018234677A1/fr

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G06T17/205—Re-meshing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2004—Aligning objects, relative positioning of parts

Definitions

  • the invention relates to the general field of augmented reality, and more specifically to the application of textures in augmented reality.
  • Augmented reality is a technology that may consist of superimposing real-time virtual images, or additional information, on images from the real world.
  • augmented reality allows the display of virtual objects so that they appear to appear in the real world.
  • a display module such as a screen where one can superimpose an image of a virtual object on a real world image (acquired for example by a camera).
  • a display module such as augmented reality glasses such as "Microsoft Hololens" (trademark) glasses can be used to display a virtual object that the user will see as placed in the real world.
  • An example of augmented reality application is the visualization of a virtual piece of furniture arranged to be seen by a user at a location in a room.
  • the invention aims in particular to solve these disadvantages. Obiet and summary of the invention
  • the present invention addresses this need by providing an augmented reality texture application method comprising:
  • a display of at least the texture applied to the virtual three-dimensional object the display being made from a point of view in the virtual world corresponding to the position of the image acquisition module in the real world.
  • the real world mentioned above targets the three-dimensional space of users.
  • the virtual world aims for it a three-dimensional space that exists only numerically.
  • This virtual space can be associated with a marker, for example orthonormal three-dimensional.
  • the virtual space can be displayed on a display module (for example a screen or augmented reality glasses) from a chosen point of view using the conventional three-dimensional imaging techniques well known to humans. job.
  • the visible marking portion makes it possible to implement this resetting step.
  • the visible marking portion can make it possible to determine a marking orientation and also a dimension (for example a distance between two elements of the marking). 7
  • the visible marking portion is associated with a real world landmark (for example an orthonormal landmark), and a virtual landmark will be developed based on the real world landmark.
  • the virtual coordinate system thus developed will allow the display of a virtual object so that it appears in a desired location (for example when superimposed with an image of the real world.
  • a point of the visible mark portion is chosen to form the origin of a real world mark
  • a point of a virtual object to be placed at the origin of the virtual world mark will be displayed as if it were present at the origin of the real world landmark and thus on the marking.
  • Texture mapping uses techniques generally designated by those skilled in the art by the Anglo-Saxon expression "texture mapping”.
  • the displayed texture will be displayed as if it were applied to the actual object observed from the image acquisition module.
  • the three-dimensional virtual object can be chosen taking into account the real object.
  • This may in particular make it easier to preview a drawing corresponding to the texture to be made on the real object, and this may also facilitate a step of making a drawing corresponding to the texture on the real object.
  • the method may comprise, after said display step, a step of making a drawing on the real object, this drawing being able to correspond to the texture.
  • augmented reality is meant “so that a user sees a superposition of a virtual element (here at least the texture) on an image of the real world (for example, which is either seen directly by the 'user is displayed on a display module with texture)'.
  • the method is a method of applying texture in augmented reality, it is implicit that by means of the display of the texture, an observer can observe the texture as superimposed on the real object.
  • the display step is implemented by means of a screen, the acquired image can be displayed simultaneously with the texture.
  • the method further comprises a display of said image of the real world, said texture applied to the virtual three-dimensional object being superimposed on said image of the real world displayed.
  • This particular mode of implementation is particularly advantageous when the display step is implemented by means of a screen.
  • the displayed texture will appear as if it is present on the real object, since the three-dimensional virtual object is chosen to correspond to the real object.
  • the invention is nevertheless in no way limited to the display of the acquired image, and it is also possible to obtain a texture application in augmented reality without displaying the acquired image, for example by using a display such as glasses of augmented reality through which a user will see the texture and the real world directly.
  • the three-dimensional virtual object is chosen from a three-dimensional virtual object library.
  • a user can choose a virtual object that will have the form closest to that of the real object.
  • the three-dimensional virtual objects of the three-dimensional virtual object library may be meshes well known to those skilled in the art, or else three-dimensional forms associated with parameters.
  • a circular cylindrical three-dimensional shape may be associated with a diameter parameter and a height parameter.
  • the method comprises a prior step of adjusting the virtual three-dimensional object.
  • the prior adjustment step can be implemented after a prior implementation of some of the steps of the method so as to place a virtual object in the virtual world.
  • the prior adjustment step may comprise the display of the virtual three-dimensional object, and preferably, if a screen is used for displaying, displaying an image of the real world acquired.
  • the display of the three-dimensional virtual object can be implemented by displaying a partially opaque three-dimensional virtual object so that both the real object and the three-dimensional virtual object can be observed. If the three-dimensional virtual object is not perfectly superimposed on the real object, the user can easily observe the differences between the three-dimensional virtual object and the real object.
  • This adjustment can comprise a displacement, in the virtual world, of the three-dimensional virtual object, or else a deformation of the virtual three-dimensional object in the virtual world.
  • the adjustment step is implemented by means of a receipt of a command from a user.
  • this step can be implemented by means of an interface for the user.
  • the detection of said at least one portion of marking comprises the detection of a predefined number of particular points of the marking.
  • the predefined number of particular points is 3, or between 3 and 20, or between 20 and 50, or even preferably between 50 and 100 or even greater than 50.
  • a visual node is generally, for those skilled in the art, a break of a line or the end of a line.
  • the marking is a non-repetitive pattern having a high contrast ratio or even black and white.
  • the marking is in grayscale, and that the white color is associated with a black intensity of 0% and the black color with a black intensity of 100%, then we preferentially use a marking with elements having a difference in intensity of black of at least 70 points, which corresponds to a high contrast ratio (for example, a gray at 15% black and a gray at 85% black, or a gray white at 0% black and a gray at 70% black). It is also possible to use a colored pattern with colors associated with intensities of black separated by 70 points (for example a light yellow with 10% of black and a dark blue with 80% of black).
  • the texture is applied to the virtual three-dimensional object in a zone distinct from that comprising the marking in the real world.
  • This particular mode of implementation facilitates the implementation of a subsequent drawing step since the marking and its elements do not interfere with this step.
  • the texture is applied to a predefined portion of the virtual three-dimensional object, for example at a location chosen by the user.
  • At least a portion of an additional marking linked to the real object is visible on said real-world image, the method further comprising:
  • the present invention also provides a method wherein:
  • the method as defined above is implemented by means of the marking and the real object.
  • the marking is provided on a mobile support, and the mobile support of the marking is linked to the real object.
  • the support is flexible and includes means for attaching the support to itself or to an object.
  • An attached support on itself allows the formation of a loop that surrounds an object.
  • the marking is visible all around the real object.
  • the loop that has been formed makes it possible to rotate the object while allowing the detection of a marking portion.
  • the support is rigid and comprises means for attaching the means for attaching the support to itself or to an object
  • the present invention also provides an augmented reality system comprising:
  • a memory comprising instructions executable by the processor for:
  • the display on the display module at least the texture applied to the virtual three-dimensional object, the display being made from a point of view in the virtual world corresponding to the position of the image acquisition module in the real world .
  • This system can be configured for the implementation of each mode of implementation of the method as defined above.
  • the present invention also provides a computer program comprising instructions for performing the steps of a method as defined above when said program is executed by a computer.
  • the computer programs mentioned in this presentation can use any programming language, and be in the form of source code, object code, or intermediate code between source code and object code, such as in a partially compiled form, or in any other desirable form.
  • the invention also proposes a computer-readable recording medium on which is recorded a computer program comprising instructions for executing the steps of a test method as defined above.
  • the recording (or information) media mentioned in this disclosure may be any entity or device capable of storing the program.
  • the medium may comprise storage means, such as a ROM, for example a CD ROM or a microelectronic circuit ROM, or a magnetic recording medium, for example a floppy disk or a disk. hard.
  • the recording media may correspond to a transmissible medium such as an electrical or optical signal, which may be conveyed via an electrical or optical cable, by radio or by other means.
  • the program according to the invention can be downloaded in particular on an Internet type network.
  • the recording media may correspond to an integrated circuit in which the program is incorporated, the circuit being adapted to execute or to be used in the execution of the method in question.
  • the present invention also proposes a kit comprising information for obtaining a computer program as defined above, and a support on which is provided a marking that can be used to implement the method as defined above.
  • the information to obtain the computer program may be a hypertext link (an Internet address), or a marking to obtain a hypertext link such as a QR-Code.
  • the present invention also provides a kit comprising information for obtaining a computer program as defined herein. before, and a real object provided with a marking usable for the implementation of the method as defined above.
  • the present invention also proposes a kit comprising information for obtaining a computer program as defined above and a receptacle for receiving a real object on which is provided a marking usable for the implementation of the method as defined above. before a real object is received in the receptacle.
  • FIG. 1 schematically represents the steps of an augmented reality display method according to an embodiment of the invention
  • FIG. 2 schematically represents the steps of an adjustment of a virtual three-dimensional object
  • FIG. 3 schematically represents an augmented reality system according to a particular embodiment of the invention
  • FIGS. 4A to 4F represent kits and kit elements according to embodiments of the invention.
  • FIG. 5 represents an alternative to the kits of FIGS. 4A to AF
  • FIGS. 6A, 6B, 6C, 6D, 6E, 6F, and 6G show schematically the steps of adjusting and displaying texture on a screen
  • FIG. 7 is a view of an implementation of an example of the invention with the user represented
  • FIG. 8 is a variant in which the texture is displayed on augmented reality glasses.
  • FIGS. 9A and 9B are examples illustrating the use of two markings.
  • Figure 1 there is shown schematically the steps of a texture application method in augmented reality.
  • This method can be implemented by a terminal such as a smartphone (or “smartphone"), a touch pad, or augmented reality glasses (eg Hololens, registered trademark).
  • a terminal such as a smartphone (or “smartphone"), a touch pad, or augmented reality glasses (eg Hololens, registered trademark).
  • this method can be implemented by any system equipped with an image acquisition module (for example a camera on the back of a smartphone), a display module (for example a display screen). 'ordiphone), and a processor.
  • the texture is a drawing that is to be visualized as if this drawing had been applied to a real object, for example but not exclusively a three-dimensional object that is different from a flat surface.
  • a three-dimensional virtual object is adjusted in a virtual world. This preliminary step will be described in more detail below with reference to FIG.
  • a second step E02 an image of the real world is acquired on which a real object and at least a portion of a marking linked to the real object are visible.
  • bound is meant that the marking is either attached to the actual object or is part of the actual object (eg if it has been printed on it).
  • this embodiment of the invention is preferably directed to real objects of small size, for example objects having dimensions of the order of one meter or decimetre.
  • the real object can be a human body or a portion of a human body.
  • the marking must be chosen to allow a registration of a virtual world in relation to the real world. It is therefore preferable that a plurality of particular points of this marking can be detected on the acquired image.
  • the detection of at least a portion of the marking is implemented in step E03.
  • the marking may be designated by the Anglo-Saxon word "target”. This term is used in the context of the development kit ("SDK: Software Development Kit” in English) called Vuforia (trademark) and marketed by the US company PTC.
  • the marking can be a "target” accepted by the Vuforia development kit for augmented reality, for example version 6 dated August 2016.
  • step E04 it implements a registration (or "Registration” in English) of a virtual world with respect to the real world from the detection of the marking portion. This step notably makes it possible to determine the point of view of the image acquisition module used.
  • a three-dimensional virtual object 1 is then obtained.
  • This object may have been chosen to have the same shape as the real object, or at least one form that approaches it. For example, if the real object is a cup, a circular cylinder can be chosen as a virtual three-dimensional object. If the real object is a forearm, a cone can be chosen as a virtual three-dimensional object.
  • the invention is not limited to three-dimensional canonical forms and applies to any three-dimensional shape.
  • the virtual three-dimensional object can be any mesh.
  • the real object is a cup, and for more precision, we can use a mesh representing a cup with a handle.
  • the three-dimensional virtual object 1 is chosen from a three-dimensional virtual object library 2.
  • the three-dimensional virtual object library 2 can be stored in a system memory. which implements the method, or this library 2 can be stored on a remote server accessible by a network such as the Internet.
  • the virtual object 1 is placed in the virtual world recaled in step E05. This placement is implemented so that the virtual object is substantially superimposed in the virtual world to the real object in the real world.
  • the respective position of the object of the virtual object three-dimensional relative to the detected marking portion must be predefined. This respective position can be stored with the virtual three-dimensional object, for example in the library 2.
  • each three-dimensional virtual object can have a position, a size, and an orientation that are related to a marking portion.
  • texture 3 is applied to the virtual three-dimensional object.
  • the texture may be a design chosen by the user, for example a drawing that the user wishes to view on the real object.
  • a step E7 at least the texture applied to the virtual three-dimensional object is displayed, this display being produced from a point of view in the virtual world corresponding to the position of the image acquisition module in the real world.
  • step E07 is implemented on a device equipped with a screen (for example a smartphone or a touch pad), it is preferable to also display the image of the real world that has been acquired. This is not necessary, however, if augmented reality glasses are used, as the display of the single texture will allow the user to see it applied to the real object.
  • a screen for example a smartphone or a touch pad
  • steps E02 to E07 can be repeated when a new real world image is acquired.
  • the treatment of the new image will make it possible to obtain a tracking of the marking portion (or "tracking" in English language).
  • This provides a real-time display that can support camera movements or object movements.
  • FIG. 2 details the steps of an adjustment of a virtual three-dimensional object as implemented during the step E01 described with reference to FIG.
  • a first step Eli an image of the real world is acquired, in a step E12, at least one portion of the marking is detected in a step E13, and then the virtual three-dimensional object 1 is placed in the step E14.
  • the steps E1i, E12, E13, and E14 are respectively analogous to the steps E02, E03, E04, and E05 described with reference to FIG.
  • the three-dimensional virtual object is displayed during step E15 (this display may include that of the acquired real-world image).
  • the three-dimensional virtual object can be displayed with low opacity, so that a user can easily see if the three-dimensional virtual object is superimposed in the virtual world to the real object in the real world.
  • This display is implemented from the point of view of the image acquisition module used to acquire the image of the real world.
  • a user's command is received to adjust the three-dimensional virtual object.
  • This adjustment can comprise a displacement, in the virtual world, of the three-dimensional virtual object, or else a deformation of the virtual three-dimensional object in the virtual world.
  • the radius of this cylinder can be adjusted during this step E16.
  • the adjustment may itself include tracking (or "tracking") of the marking portion.
  • next step E02 described with reference to FIG. 1 may be implemented.
  • adjustment step E01 and its sub-steps Eli to E16 can be implemented at any time, and that they can be repeated several times, in particular after one or more implementations of the steps E02 to E07 described with reference to Figure 1.
  • FIG. 3 there is shown an augmented reality system 30 according to a particular embodiment of the invention. This system can notably implement the steps of the method described with reference to FIGS. 1 and 2.
  • the system 30 comprises an image acquisition module 31 (for example a camera), a display module 32 of the screen type, a processor 33, and a memory 34 (preferably of the non-volatile type).
  • the memory 34 here includes computer program instructions 35 which can be executed by the processor 33 of the system.
  • FIG. 4A there is shown a kit 40 according to one embodiment of the invention.
  • This kit comprises a marking 41 provided on a support 42, and an information 43 to obtain a computer program for implementing a texture display method actually augmented according to an example of the invention.
  • the marking 41 is a non-repetitive pattern with a high contrast ratio or black and white t that can be detected using the Vuforia (trademark) development kit. It may be noted that the corners of the black or white polygons of the marking may be points detected for example during the step E03 described above in which a portion of the marking is detected. These points may also be designated by those skilled in the art as visual nodes.
  • the support 42 is here a flexible support, which can be folded to surround an object.
  • the support 42 here comprises means for fastening the support on itself and more particularly the studs 44 and the orifices 45.
  • the studs 44 can be inserted into two pairs of orifices 45 so that it is attached to it. even we can surround real objects with different diameters.
  • a non-repeating pattern comprises a set of single portions, and the detection of a sufficient number of points of a portion of the marking makes it possible to locate the portion in the marking.
  • the information 43 is here of the QR-Code type and its reading can be used to find a hypertext link to a computer program to download, or a hypertext link to a catalog of computer programs or applications for computers or graphic tablets.
  • the kit it is possible to link the marking to a real object (by attaching the support to itself), then for example to implement the steps of the method as described with reference to FIG.
  • FIG. 4B shows another kit 400 comprising a plurality of supports 420 provided with markings 410.
  • Kit 400 also includes information 430 to make it possible to obtain a downloadable computer program for implementing the method as described above.
  • the kit 400 includes a receptacle 460 for receiving a real object for which the method will be implemented, for example that described with reference to Figure 1.
  • the receptacle 460 has a concave portion 461 for receiving an object having a shape spherical or ovoid, and a marking 462.
  • receptacle 460 when a real object is received by the receptacle 460, it will not move and its position and its orientation will be known as soon as the marking 462 is detected.
  • Other types of receptacles may be used, in particular non-symmetrical or keyed receptacles in which real objects are received with a selected orientation.
  • FIG. 4C shows another example of means for attaching a support 420 provided with a marking 410.
  • the face of the support opposite to that comprising the marking is provided with a sticky portion 450. .
  • FIG. 4D shows the step in which the marking 410 and its support 420 which have been shown in FIG. 4C are glued to a surface 470 of a real object, using the adhesive portion 450.
  • the receptacle 460 of FIG. 4B is represented with a real object 463 (which may be included in a kit according to one aspect of the invention).
  • the actual object 463 has an ovoid shape. It may be noted that by placing a real object in the receptacle 460, the marking of the receptacle is linked with the real object.
  • FIG. 4F shows a variant of the support provided with a marking.
  • the support 420 is rigid, and it can be attached by means of a magnetized portion 450 'which cooperates with a magnetized portion not visible in the figure disposed on the face of the support opposite to that provided with the marking.
  • a clamp system may allow the attachment of a rigid support.
  • kit 50 comprising a real object 51 (here a cube). Directly on the real object, it has placed a marking 52 and information 53 to find a computer program capable of implementing the steps of a method according to an embodiment of the invention.
  • Figures 6A-6G illustrate the steps of an augmented reality texture display method such that a user can observe them.
  • FIG. 6A there is shown a system 60 of the touch pad type and which comprises a screen 61. Although all its elements have not been shown in the figure, the system 60 may be similar to the system 30 described with reference to FIG. In particular, the system 60 includes a camera on the back of the face comprising the screen.
  • the camera films a scene by acquiring visible images on the screen 61.
  • the filmed scene comprises a real object 62 (here a cylinder), a portion of a marking 63 which surrounds the cylinder, and a support 64 on which the cylinder is placed.
  • this step notably comprises the display of a virtual object superimposed on the real object (step E15 of FIG. 2).
  • a virtual object 65 has been displayed which appears to be substantially superimposed on the real object 62 on the screen 61.
  • the display of this virtual object is implemented after the detection of a portion of marking on the acquired image, as described with reference to FIG.
  • the three-dimensional virtual cylinder has a diameter which appears to be greater than that of the real object, and a height which also appears to be greater than that of the real object. A user may therefore wish to modify the diameter and the height of the virtual three-dimensional object. These modifications are represented by arrows in FIG. 6C.
  • FIG. 6D the result of the adjustment step is represented, with a three-dimensional virtual object 65 which is superimposed on the real object in the image displayed on the screen 61.
  • a texture 66 is shown to be applied to the three-dimensional virtual object 65.
  • the texture is in this example a two-dimensional image. All of the examples described in this application can use two-dimensional textures.
  • the texture 67 applied to the virtual three-dimensional object 65 is also shown.
  • the three-dimensional virtual object 65 being a cylinder, the texture appears on the screen as having been deformed to fit the shape of the cylinder.
  • the texture is placed in a predefined location of the three-dimensional virtual object.
  • the method may then comprise a step of drawing on the real object 62. For this purpose, it is no longer necessary to display the virtual object 67, as illustrated in FIG. 6F.
  • a user viewing the screen 60 may use a writing tool 69 (eg, felt) to reproduce the texture on the actual object 62.
  • the beginning of the plot is represented by the line 68 on the Fig.
  • the image acquired by the camera is continually refreshed, the user sees its layout and texture overlap.
  • the user can rotate the support 64 and cause the rotation of the real object 62 and the marking 63.
  • another portion of the marking may be detected.
  • each portion of the marking is associated with a particular position of the real object in the real world which makes it possible to implement a new registration.
  • each portion (a portion comprises, for example, a predefined number of particular points) of marking may be associated with a particular position of the real object in the real world. .
  • the method can support the movements of the object and / or the camera as soon as a portion of marking remains visible by the camera.
  • FIG. 7 shows a user U holding a system
  • FIG 8 there is shown an example of an embodiment in which augmented reality glasses 80 are used.
  • an object 82 a cap
  • a marking 83 Only a texture 87 is displayed on the glasses, and this texture represents a flower.
  • the texture 87 is deformed because it has been applied to a three-dimensional virtual object in the form of a cap. Specifically, the flower being intended to be displayed as if it were between the visor and the upper part of the cap, its stem is displayed as broken.
  • FIGS. 9A and 9B illustrate the use of two markings 91 and 92 (ie a marking and additional marking) surrounding a cylindrical object with a circular base 90.
  • the two markings are placed at the two ends of the cylinder 90.
  • FIG. 9A there is also represented by a mesh three-dimensional virtual object superimposed on the real object, and the texture 93 applied to the virtual three-dimensional object.
  • the mesh 94 is substantially rectilinear and corresponds to the two marking portions that will be visible on the acquired image.
  • FIG. 9B a twist was made on the real object, which resulted in the rotation of the markings. Two different marking portions are then detected on the acquired image, and it is possible to implement an adjustment of the three-dimensional virtual object to take account of the respective position of the two markings.
  • FIG. 9B This is represented in FIG. 9B by a deformed mesh 94 and a deformed texture 93.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Architecture (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Processing Or Creating Images (AREA)

Abstract

Procédé d'application de texture en réalité augmentée comprenant une acquisition d'une image du monde réel sur laquelle un objet réel (62) et au moins une portion d'un marquage (63) lié à l'objet réel sont visibles, une détection du marquage, un recalage d'un monde virtuel par rapport au monde réel à partir de la détection du marquage, un placement d'un objet virtuel tridimensionnel de sorte que l'objet virtuel soit sensiblement superposé dans le monde virtuel à l'objet réel dans le monde réel, une application d'une texture (67) sur l'objet virtuel tridimensionnel, et un affichage d'au moins la texture appliquée à l'objet virtuel tridimensionnel. L'invention concerne également un système pouvant mettre en oeuvre le procédé et un kit contenant notamment ledit marquage.

Description

Procédé d'application de texture en réalité augmentée, système et kits correspondants
Arrière-plan de l'invention
L'invention se rapporte au domaine général de la réalité augmentée, et plus précisément à l'application de textures en réalité augmentée.
La réalité augmentée est une technologie pouvant consister à superposer éventuellement en temps réel des images virtuelles, ou des informations complémentaires, à des images issues du monde réel.
Par exemple, la réalité augmentée permet l'affichage d'objets virtuels de sorte qu'ils semblent apparaître dans le monde réel. Cela résulte de l'utilisation d'un module d'affichage tel qu'un écran où l'on pourra superposer une image d'un objet virtuel sur une image du monde réel (acquise par exemple par une caméra). Alternativement, on peut utiliser un module d'affichage tel que des lunettes de réalité augmentée telles que des lunettes « Microsoft Hololens » (marque déposée) pour afficher un objet virtuel que l'utilisateur verra comme placé dans le monde réel.
Un exemple d'application de la réalité augmentée est la visualisation d'un meuble virtuel agencé de manière à être vu par un utilisateur à un emplacement dans une pièce.
Les techniques actuelles de réalité augmentée ne permettent que de visualiser des objets, et elles ne permettent pas de mettre en œuvre une prévisualisation qui facilitera suffisamment, pour un utilisateur, l'action sur un objet réel.
Il existe donc un besoin pour de nouvelles applications en réalité augmentée.
L'invention vise notamment à résoudre ces inconvénients. Obiet et résumé de l'invention
La présente invention répond à ce besoin en proposant un procédé d'application de texture en réalité augmentée comprenant :
- une acquisition, par un module d'acquisition d'image, d'une image du monde réel sur laquelle un objet réel et au moins une portion d'un marquage lié à l'objet réel sont visibles,
- une détection de ladite au moins une portion du marquage dans ladite image du monde réel,
- un recalage d'un monde virtuel par rapport au monde réel à partir de la détection de ladite au moins une portion du marquage,
- un placement, dans le monde virtuel recalé, d'un objet virtuel tridimensionnel de sorte que l'objet virtuel soit sensiblement superposé dans le monde virtuel à l'objet réel dans le monde réel,
- une application d'une texture sur l'objet virtuel tridimensionnel,
- un affichage d'au moins la texture appliquée à l'objet virtuel tridimensionnel, l'affichage étant réalisé depuis un point de vue dans le monde virtuel correspondant à la position du module d'acquisition d'image dans le monde réel.
Le monde réel mentionné ci-dessus vise l'espace tridimensionnel des utilisateurs.
Le monde virtuel vise quant à lui un espace tridimensionnel qui n'existe que numériquement. Cet espace virtuel peut être associé à un repère, par exemple orthonormé tridimensionnel. Aussi, l'espace virtuel peut être affiché sur un module d'affichage (par exemple un écran ou des lunettes de réalité augmentée) depuis un point de vue choisi en utilisant les techniques conventionnelles de l'imagerie tridimensionnelle bien connues de l'homme du métier.
L'étape de recalage (ou « registration » en langue anglaise) d'un monde virtuel vise à aligner le monde virtuel et le monde réel, de sorte qu'un objet affiché apparaisse en un emplacement souhaité, voire avec une orientation et une taille souhaitée.
On peut noter que la portion de marquage visible permet de mettre en oeuvre cette étape de recalage. La portion de marquage visible peut permettre de déterminer une orientation du marquage et également une dimension (par exemple une distance entre deux éléments du 7
3
marquage). Dès lors, il est possible de considérer que la portion de marquage visible est associée à un repère du monde réel (par exemple un repère orthonormé), et un repère virtuel sera élaboré sur la base du repère du monde réel. Le repère virtuel ainsi élaboré permettra l'affichage d'un objet virtuel de sorte qu'il apparaisse en un emplacement souhaité (par exemple une fois superposé avec une image du monde réel.
Par exemple, si un point de la portion de marquage visible est choisi comme formant l'origine d'un repère du monde réel, alors un point d'un objet virtuel destiné à être placé à l'origine du repère du monde virtuel sera affiché comme s'il était présent à l'origine du repère du monde réel et donc sur le marquage.
L'application de texture utilise des techniques généralement désignées par l'homme du métier par l'expression anglo-saxonne « texture mapping ».
L'homme du métier sait notamment appliquer des textures sur des objets virtuels tridimensionnels tels que des maillages tridimensionnels
(« mesh » en langue anglaise).
On notera que dès lors que l'objet virtuel tridimensionnel choisi a une forme analogue à celle de l'objet réel, la texture affichée sera affichée comme si elle était appliquée sur l'objet réel observé depuis le module d'acquisition d'image. Par exemple, l'objet virtuel tridimensionnel peut être choisi en tenant compte de l'objet réel.
Ceci peut notamment permettre de faciliter la prévisualisation d'un dessin correspondant à la texture à réaliser sur l'objet réel, et cela peut également permettre de faciliter une étape de réalisation d'un dessin correspondant à la texture sur l'objet réel.
En fait, le procédé peut comporter, postérieurement à ladite étape d'affichage, une étape de réalisation d'un dessin sur l'objet réel, ce dessin pouvant correspondre à la texture.
Par l'expression « en réalité augmentée », on entend « de sorte qu'un utilisateur voit une superposition d'un élément virtuel (ici au moins la texture) sur une image du monde réel (par exemple qui est soit vue directement par l'utilisateur soit affichée sur un module d'affichage avec la texture) ».
On peut noter que le procédé étant un procédé d'application de texture en réalité augmentée, il est implicite qu'au moyen de l'affichage de la texture, un observateur pourra observer la texture comme superposée sur l'objet réel.
A titre indicatif, si l'étape d'affichage est mise en œuvre au moyen d'un écran, l'image acquise pourra être affichée en même temps que la texture.
Par exemple, et selon un mode particulier de mise en uvre, le procédé comprend en outre un affichage de ladite image du monde réel, ladite texture appliquée à l'objet virtuel tridimensionnel étant affichée en surimposition sur ladite image du monde réel affiché.
Ce mode particulier de mise en œuvre est particulièrement avantageux lorsque l'étape d'affichage est mise en œuvre au moyen d'un écran. La texture affichée apparaîtra comme si elle est présente sur l'objet réel, dans la mesure où l'objet virtuel tridimensionnel est choisi de manière à correspondre à l'objet réel.
L'invention n'est néanmoins nullement limitée à l'affichage de l'image acquise, et l'on peut également obtenir une application de texture en réalité augmentée sans afficher l'image acquise, par exemple en utilisant un affichage tel que des lunettes de réalité augmentée à travers lesquelles un utilisateur verra la texture et le monde réel directement.
Selon un mode particulier de mise en œuvre, l'objet virtuel tridimensionnel est choisi dans une bibliothèque d'objets virtuels tridimensionnels.
Ainsi, un utilisateur peut choisir un objet virtuel qui aura la forme la plus proche de celle de l'objet réel. Les objets virtuels tridimensionnels de la bibliothèque d'objets virtuels tridimensionnels peuvent être des maillages bien connus de l'homme du métier, ou encore des formes tridimensionnelles associées à des paramètres. A titre indicatif, une forme tridimensionnelle cylindrique à base circulaire peut être associée à un paramètre de diamètre et un paramètre de hauteur.
Selon un mode particulier de mise en œuvre, le procédé comprend une étape préalable d'ajustement de l'objet virtuel tridimensionnel.
L'étape préalable d'ajustement peut être mise en œuvre après une mise en œuvre préalable de certaines des étapes du procédé de manière à placer un objet virtuel dans le monde virtuel.
L'étape préalable d'ajustement peut comporter l'affichage de l'objet virtuel tridimensionnel, et, préférentiellement si l'on utilise un écran pour l'affichage, l'affichage d'une image du monde réel acquise. L'affichage de l'objet virtuel tridimensionnel peut être mis en œuvre en affichant un objet virtuel tridimensionnel partiellement opaque de sorte que l'on peut observer à la fois l'objet réel et l'objet virtuel tridimensionnel. Si l'objet virtuel tridimensionnel n'est pas parfaitement superposé à l'objet réel, l'utilisateur pourra aisément observer les écarts entre l'objet virtuel tridimensionnel et l'objet réel.
Cet ajustement peut comprendre un déplacement, dans le monde virtuel, de l'objet virtuel tridimensionnel, ou encore une déformation de l'objet virtuel tridimensionnel dans le monde virtuel.
Selon un mode particulier de mise en œuvre, l'étape d'ajustement est mise en œuvre au moyen d'une réception d'une commande d'un utilisateur.
A titre indicatif, cette étape peut être mise en œuvre au moyen d'une interface pour l'utilisateur.
Selon un mode particulier de mise en œuvre, la détection de ladite au moins une portion de marquage comprend la détection d'un nombre prédéfini de points particuliers du marquage.
Selon un mode particulier de mise en œuvre, le nombre prédéfini de points particuliers est 3, ou compris entre 3 et 20, ou compris entre 20 et 50, ou encore préférentiel lement compris entre 50 et 100 voire supérieur à 50.
Les points particuliers peuvent être des nœuds visuels. Un nœud visuel est généralement, pour l'homme du métier, une cassure d'une ligne ou l'extrémité d'une ligne. Selon un mode particulier de mise en œuvre, le marquage est un motif non-répétitif présentant un taux de contraste élevé voire noir et blanc.
A titre indicatif, si le marquage est en niveaux de gris, et que l'on associe la couleur blanche à une intensité de noir de 0% et la couleur noir à une intensité de noir de 100%, alors on utilisera préférentiellement un marquage avec des éléments présentant une différence d'intensité de noir d'au moins 70 points, ce qui correspond à un taux de contraste élevé (par exemple on peut utiliser un gris à 15% de noir et un gris à 85 % de noir, ou un blanc à 0% de noir et un gris à 70% de noir). On peut également utiliser un motif coloré avec des couleurs associés à des intensités de noir séparés de 70 points (par exemple un jaune clair à 10% de noir et un bleu foncé à 80% de noir).
Selon un mode particulier de mise en œuvre, on applique la texture sur l'objet virtuel tridimensionnel dans une zone distincte de celle comprenant le marquage dans le monde réel.
Ce mode particulier de mise en œuvre facilite la mise en œuvre d'une étape ultérieure de dessin puisque le marquage et ses éléments ne gênent pas cette étape.
On peut noter que par distinct, on entend une zone espacée du marquage par au moins une distance de l'ordre d'un centimètre.
Selon un mode particulier de mise en œuvre, dans lequel la texture est appliquée à une portion prédéfinie de l'objet virtuel tridimensionnel, par exemple en un emplacement choisi par l'utilisateur.
Selon un mode particulier de mise en œuvre, au moins une portion d'un marquage supplémentaire lié à l'objet réel est visible sur ladite image du monde réel, le procédé comprenant en outre :
- une détection de ladite au moins une portion du marquage supplémentaire dans ladite image du monde réel,
- un ajustement de l'objet virtuel tridimensionnel à partir de la détection de ladite au moins une portion du marquage supplémentaire.
L'utilisation de deux portions de marquage (par exemple appartenant à deux marquages distincts) permet d'ajuster encore plus la connaissance de la position de l'objet réel et de ses déformations.
La présente invention propose également un procédé dans lequel :
- on lie un marquage et un objet réel,
- on met en œuvre le procédé tel que défini ci-avant au moyen du marquage et de l'objet réel.
Selon un mode particulier de mise en œuvre, le marquage est pourvu sur un support mobile, et on lie le support mobile du marquage à l'objet réel.
Selon un mode particulier de mise en œuvre, le support est flexible et comporte des moyens d'attache du support sur lui-même ou sur un objet. Un support attaché sur lui-même autorise la formation d'une boucle qui entoure un objet.
Selon un mode particulier de mise en œuvre, lorsque le support est attaché sur lui-même et sur un objet réel, le marquage est visible tout autour de l'objet réel.
Ici, la boucle qui a été formée permet de faire tourner l'objet tout en permettant la détection d'une portion de marquage.
Selon un mode particulier de mise en œuvre, le support est rigide et comporte des moyens d'attache des moyens d'attache du support sur lui-même ou sur un objet
La présente invention propose également un système de réalité augmentée comprenant :
- un module d'acquisition d'images du monde réel,
- un module d'affichage,
- un processeur,
- une mémoire comprenant des instructions exécutables par le processeur pour :
- acquérir, par le module d'acquisition d'image, une image du monde réel sur laquelle un objet réel et au moins une portion d'un marquage lié à l'objet réel sont visibles,
- détecter ladite au moins une portion du marquage dans ladite image du monde réel,
- recaler un monde virtuel par rapport au monde réel à partir de la détection de ladite au moins une portion du marquage,
- placer, dans le monde virtuel recalé, d'un objet virtuel tridimensionnel de sorte que l'objet virtuel soit sensiblement superposé dans le monde virtuel à l'objet réel dans le monde réel,
- appliquer une texture sur l'objet virtuel tridimensionnel,
- afficher sur le module d'affichage au moins la texture appliquée à l'objet virtuel tridimensionnel, l'affichage étant réalisé depuis un point de vue dans le monde virtuel correspondant à la position du module d'acquisition d'image dans le monde réel.
Ce système peut être configuré pour la mise en œuvre de chaque mode de mise en œuvre du procédé tel que défini ci-avant.
La présente invention propose également un programme d'ordinateur comportant des instructions pour l'exécution des étapes d'un procédé tel que défini ci-avant lorsque ledit programme est exécuté par un ordinateur.
A noter que les programme d'ordinateur mentionnés dans le présent exposé peuvent utiliser n'importe quel langage de programmation, et être sous la forme de code source, code objet, ou de code intermédiaire entre code source et code objet, tel que dans une forme partiellement compilée, ou dans n'importe quelle autre forme souhaitable.
L'invention propose également un support d'enregistrement lisible par un ordinateur sur lequel est enregistré un programme d'ordinateur comprenant des instructions pour l'exécution des étapes d'un procédé de test tel que défini ci-avant.
Les supports d'enregistrement (ou d'information) mentionnés dans le présent exposé peuvent être n'importe quelle entité ou dispositif capable de stocker le programme. Par exemple, le support peut comporter un moyen de stockage, tel qu'une ROM, par exemple un CD ROM ou une ROM de circuit microélectronique, ou encore un moyen d'enregistrement magnétique, par exemple une disquette (floppy dise) ou un disque dur.
D'autre part, les supports d'enregistrement peuvent correspondre à un support transmissible tel qu'un signal électrique ou optique, qui peut être acheminé via un câble électrique ou optique, par radio ou par d'autres moyens. Le programme selon l'invention peut être en particulier téléchargé sur un réseau de type Internet.
Alternativement, les supports d'enregistrement peuvent correspondre à un circuit intégré dans lequel le programme est incorporé, le circuit étant adapté pour exécuter ou pour être utilisé dans l'exécution du procédé en question.
La présente invention propose également un kit comprenant une information pour obtenir un programme d'ordinateur tel que défini ci- avant, et un support sur lequel est pourvu un marquage utilisable pour la mise en oeuvre du procédé tel que défini ci-avant.
A titre indicatif, l'information pour obtenir le programme d'ordinateur peut être un lien hypertexte (une adresse internet), ou encore un marquage permettant d'obtenir un lien hypertexte tel qu'un QR- Code.
La présente invention propose également un kit comprenant une information pour obtenir un programme d'ordinateur tel que défini ci- avant, et un objet réel pourvu d'un marquage utilisable pour la mise en oeuvre du procédé tel que défini ci-avant.
La présente invention propose également un kit comprenant une information pour obtenir un programme d'ordinateur tel que défini ci- avant et un réceptacle pour recevoir un objet réel sur lequel est pourvu un marquage utilisable pour la mise en œuvre du procédé tel que défini ci- avant lorsqu'un objet réel est reçu dans le réceptacle.
Brève description des dessins
D'autres caractéristiques et avantages de la présente invention ressortiront de la description faite ci-dessous, en référence aux dessins annexés qui en illustrent un exemple dépourvu de tout caractère limitatif.
Sur les figures :
- la figure 1 représente de façon schématique les étapes d'un procédé d'affichage en réalité augmentée selon un mode de mise en œuvre de l'invention,
- la figure 2 représente de façon schématique les étapes d'un ajustement d'un objet virtuel tridimensionnel,
- la figure 3 représente de façon schématique un système de réalité augmentée selon un mode de réalisation particulier de l'invention,
- les figures 4A à 4F représentent des kits et des éléments de kits selon des modes de réalisation de l'invention,
- la figure 5 représente une alternative aux kits des figures 4A à AF,
- les figures 6A, 6B, 6C, 6D, 6E, 6F, et 6G représentent schématiquement les étapes d'ajustement et d'affichage de texture sur un écran,
- la figure 7 est une vue d'une mise en œuvre d'un exemple de l'invention avec l'utilisateur représenté,
- la figure 8 est une variante dans laquelle on affiche la texture sur des lunettes de réalité augmentée, et
- les figures 9A et 9B sont des exemples illustrant l'utilisation de deux marquages.
Description détaillée d'un mode de réalisation Nous allons maintenant décrire un procédé et un système conformément à un mode particulier de réalisation de l'invention.
Sur la figure 1, on a représenté de manière schématique les étapes d'un procédé d'application de texture en réalité augmentée.
Ce procédé peut être mis en œuvre par un terminal tel qu'un ordiphone (ou « smartphone »), une tablette tactile, ou des lunettes de réalité augmentée (par exemple Hololens, marque déposée). En fait, ce procédé peut être mis en œuvre par tout système équipé d'un module d'acquisition d'image (par exemple une caméra au dos d'un ordiphone), d'un module d'affichage (par exemple un écran d'ordiphone), et d'un processeur.
Dans ce procédé, la texture est un dessin que l'on souhaite visualiser comme si ce dessin avait été appliqué sur un objet réel, par exemple mais non exclusivement un objet tridimensionnel qui est différent d'une surface plane.
Dans une première étape E01, on ajuste un objet virtuel tridimensionnel dans un monde virtuel. Cette étape préliminaire sera décrite plus en détail ci-après en référence à la figure 2.
Dans une deuxième étape E02, on acquiert une image du monde réel sur laquelle un objet réel et au moins une portion d'un marquage lié à l'objet réel sont visibles.
Par « lié », on entend que le marquage est soit fixé sur l'objet réel, soit qu'il fait partie de l'objet réel (par exemple s'il a été imprimé dessus).
Comme on le conçoit, ce mode de mise en œuvre de l'invention s'adresse préférentiellement à des objets réels de faible dimension, par exemple des objets ayant des dimensions de l'ordre du mètre ou du décimètre. Aussi, l'objet réel peut être un corps humain ou une portion de corps humain.
En ce qui concerne le marquage, ce dernier doit être choisi pour permettre un recalage d'un monde virtuel par rapport au monde réel. Il est donc préférable qu'une pluralité de points particuliers de ce marquage puisse être détectée sur l'image acquise. La détection d'au moins une portion du marquage est mise en œuvre à l'étape E03. On peut noter que le marquage peut être désigné par le vocable anglo-saxon « target ». Ce terme est notamment utilisé dans le contexte du kit de développement (« SDK : Software Development Kit » en langue anglaise) appelé Vuforia (marque déposée) et commercialisé par la société américaine PTC. En fait, le marquage peut être un « target » accepté par le kit de développement Vuforia pour la réalité augmentée, par exemple la version 6 datée du mois d'août 2016. A l'étape E04, on met en œuvre un recalage (ou « registration » en langue anglaise) d'un monde virtuel par rapport au monde réel à partir de la détection de la portion de marquage. Cette étape permet notamment de déterminer le point de vue du module d'acquisition d'image utilisé.
Un objet virtuel tridimensionnel 1 est ensuite obtenu. Cet objet pouvant avoir été choisi de manière à avoir la même forme que l'objet réel, ou au moins une forme qui s'en approche. Par exemple, si l'objet réel est une tasse, on peut choisir comme objet virtuel tridimensionnel un cylindre à base circulaire. Si l'objet réel est un avant-bras, on peut choisir comme objet virtuel tridimensionnel un cône.
Bien entendu, l'invention n'est nullement limitée à des formes tridimensionnelles canoniques et s'applique à toute forme tridimensionnelle. A titre indicatif, l'objet virtuel tridimensionnel peut être un maillage quelconque. Par exemple si l'objet réel est une tasse, et pour plus de précision, on pourra utiliser un maillage représentant une tasse avec une anse.
Dans le mode de mise en œuvre de la figure 1, l'objet virtuel tridimensionnel 1 est choisi dans une bibliothèque d'objets virtuels tridimensionnels 2. A titre indicatif, la bibliothèque d'objets virtuels tridimensionnels 2 peut être enregistrée dans une mémoire du système qui met en œuvre le procédé, ou cette bibliothèque 2 peut être stockée sur un serveur distant accessible par un réseau tel qu'internet.
L'objet virtuel 1 est placé dans le monde virtuel recalé à l'étape E05. Ce placement est mis en œuvre de sorte que l'objet virtuel soit sensiblement superposé dans le monde virtuel à l'objet réel dans le monde réel.
En d'autres termes, si l'on affiche l'objet virtuel sur un affichage en réalité augmentée l'objet virtuel sera visualisé en lieu et place de l'objet réel. A cet effet, la position respective de l'objet de l'objet virtuel tridimensionnel par rapport à la portion de marquage détectée doit être prédéfinie. Cette position respective peut être mémorisée avec l'objet virtuel tridimensionnel, par exemple dans la bibliothèque 2.
En fait, chaque objet virtuel tridimensionnel peut avoir une position, une taille, et une orientation qui sont liés à une portion de marquage.
Ensuite, au cours de l'étape E06, on applique une texture 3 à l'objet virtuel tridimensionnel. La texture peut être un dessin choisi par l'utilisateur, par exemple un dessin que l'utilisateur souhaite visualiser sur l'objet réel.
Enfin, dans une étape E7, on affiche au moins la texture appliquée à l'objet virtuel tridimensionnel, cet affichage étant réalisé depuis un point de vue dans le monde virtuel correspondant à la position du module d'acquisition d'image dans le monde réel.
On peut noter que si on met en œuvre l'étape E07 sur un dispositif équipé d'un écran (par exemple un ordiphone ou une tablette tactile), il est préférable d'afficher également l'image du monde réel qui a été acquise. Cela n'est toutefois pas nécessaire si des lunettes de réalité augmentée sont utilisées, car l'affichage de la seule texture permettra à l'utilisateur de la voir appliquée à l'objet réel.
On peut noter que les étapes E02 à E07 peuvent être répétées lorsqu'une nouvelle image du monde réelle est acquise. Le traitement de la nouvelle image permettra d'obtenir un suivi de la portion de marquage (ou « tracking » en langue anglaise). On obtient ainsi un affichage en temps réel qui peut supporter les mouvements de caméra ou les mouvements de l'objet.
La figure 2 détaille les étapes d'un ajustement d'un objet virtuel tridimensionnel tel que mis en œuvre au cours de l'étape E01 décrite en référence à la figure 1.
Dans une première étape Eli, on acquiert une image du monde réel, dans une étape E12, on détecte au moins une portion du marquage, dans une étape E13, puis on place l'objet virtuel tridimensionnel 1 dans l'étape E14. Les étapes Eli, E12, E13, et E14 sont respectivement analogues aux étapes E02, E03, E04, et E05 décrites en référence à la figure 1. Ensuite, on affiche l'objet virtuel tridimensionnel au cours de l'étape E15 (cet affichage peut comporter celui de l'image du monde réel acquise). On peut afficher l'objet virtuel tridimensionnel avec une opacité faible, de sorte qu'un utilisateur pourra aisément visualiser si l'objet virtuel tridimensionnel est bien superposé dans le monde virtuel à l'objet réel dans le monde réel.
Cet affichage est mis en œuvre du point de vue du module d'acquisition d'image utilisé pour acquérir l'image du monde réel.
Au cours d'une étape E16, on reçoit une commande d'un utilisateur pour ajuster l'objet virtuel tridimensionnel. Cet ajustement peut comprendre un déplacement, dans le monde virtuel, de l'objet virtuel tridimensionnel, ou encore une déformation de l'objet virtuel tridimensionnel dans le monde virtuel.
A titre indicatif, si l'objet virtuel tridimensionnel est un cylindre à base circulaire, on peut ajuster le rayon de ce cylindre au cours de cette étape E16.
Il est ensuite possible de répéter les étapes Eli à E16 s'il est estimé par un utilisateur que l'objet virtuel tridimensionnel n'est pas encore ajusté à l'objet réel. En fait, l'ajustement peut lui-même comporter un suivi (ou « tracking ») de la portion de marquage.
Si l'ajustement est estimé par un utilisateur comme étant acceptable, l'étape suivante E02 décrite en référence à la figure 1 peut être mise en œuvre.
On peut noter que l'étape E01 d'ajustement et ses sous étapes Eli à E16 peuvent être mises en œuvre à tout moment, et qu'elles peuvent être répétée plusieurs fois, en particulier après une ou plusieurs mises en œuvre des étapes E02 à E07 décrites en référence à la figure 1.
Sur la figure 3, on a représenté un système de réalité augmentée 30 selon un mode de réalisation particulier de l'invention. Ce système peut notamment mettre en œuvre les étapes du procédé décrit en référence aux figures 1 et 2.
Le système 30 comporte un module d'acquisition d'images 31 (par exemple une caméra), un module d'affichage 32 du type écran, un processeur 33, et une mémoire 34 (préférentiellement du type non- volatile). La mémoire 34 comporte ici des instructions de programme d'ordinateur 35 qui peuvent être exécutées par le processeur 33 du système.
Les instructions comprennent ici :
- une instruction 36A pour acquérir, par le module d'acquisition d'image 31, une image du monde réel sur laquelle un objet réel et au moins une portion d'un marquage lié à l'objet réel sont visibles,
- une instruction 36B pour détecter ladite au moins une portion du marquage dans ladite image du monde réel,
- une instruction 36C pour recaler un monde virtuel par rapport au monde réel à partir de la détection de ladite au moins une portion du marquage,
- une instruction 36D pour placer, dans le monde virtuel recalé, d'un objet virtuel tridimensionnel de sorte que l'objet virtuel soit sensiblement superposé dans le monde virtuel à l'objet réel dans le monde réel,
- une instruction 36E pour appliquer d'une texture sur l'objet virtuel tridimensionnel,
- une instruction 36F pour afficher sur le module d'affichage 32 au moins la texture appliquée à l'objet virtuel tridimensionnel, l'affichage étant réalisé depuis un point de vue dans le monde virtuel correspondant à la position du module d'acquisition d'image dans le monde réel.
Sur la figure 4A, on a représenté un kit 40 selon un mode de réalisation de l'invention.
Ce kit comporte un marquage 41 pourvu sur un support 42, et une information 43 pour obtenir un programme d'ordinateur permettant la mise en œuvre d'un procédé d'affichage de texture en réalité augmentée selon un exemple de l'invention.
Ici, le marquage 41 est un motif non-répétitif avec un taux de contraste élevé voire noir et blanc t qui peut être détecté en utilisant le kit de développement Vuforia (marque déposée). On peut noter que les coins des polygones noirs ou blancs du marquage peuvent être des points détectés par exemple au cours de l'étape E03 décrite ci-avant dans laquelle on détecte une portion du marquage. Ces points peuvent également être désignés par l'homme du métier comme étant des nœuds visuels.
On peut noter que pour détecter une portion de marquage on peut détecter un nombre de points égal à 3, ou compris entre 3 et 20, ou compris entre 20 et 50, ou compris entre 50 et 100 pour déterminer une position du marquage et pouvoir mettre en œuvre l'étape de recalage.
Le support 42 est ici un support flexible, qui peut être plié pour entourer un objet. Le support 42 comporte ici des moyens d'attaches du support sur lui-même et plus particulièrement des plots 44 et des orifices 45. Ici, les plots 44 peuvent être insérés dans deux paires d'orifices 45 de sorte qu'attaché sur lui-même, on peut entourer des objets réels ayant différents diamètres.
Bien entendu, l'invention n'est nullement limitée à l'utilisation de plots et d'orifices, d'autre moyens d'attache pouvant être utilisés tels que des adhésifs (de la colle), du velcro (marque déposée), une boucle, une sangle autoblocante, etc. On peut noter qu'un motif non-répétitif comporte un ensemble de portions uniques, et la détection d'un nombre suffisant de points d'une portion du marquage permet de repérer la portion dans le marquage.
L'information 43 est ici du type QR-Code et sa lecture peut permettre de retrouver un lien hypertexte vers un programme d'ordinateur à télécharger, ou encore un lien hypertexte vers un catalogue de programmes d'ordinateur ou d'applications pour ordiphones ou tablettes graphique.
Pour utiliser le kit, on peut lier le marquage à un objet réel (en attachant le support sur lui-même), puis par exemple mettre en œuvre les étapes du procédé tel que décrit en référence à la figure 1.
Sur la figure 4B, on a représenté un autre kit 400 comprenant une pluralité de supports 420 pourvus de marquages 410. Le kit 400 comprend également des informations 430 pour permettre d'obtenir un programme d'ordinateur à télécharger pour mettre en œuvre le procédé tel que décrit ci-avant.
Aussi, le kit 400 comporte un réceptacle 460 pour recevoir un objet réel pour lequel on va mettre en œuvre le procédé, par exemple celui décrit en référence à la figure 1. Le réceptacle 460 comporte une portion concave 461 pour recevoir un objet ayant une forme sphérique ou ovoïde, et un marquage 462.
On comprend que lorsqu'un objet réel est reçu par le réceptacle 460, il ne bougera plus et sa position et son orientation seront connus dès lors que le marquage 462 est détecté. D'autres types de réceptacles peuvent être utilisés, en particulier des réceptacles non symétriques ou avec des détrompeurs dans lesquels les objets réels sont reçus avec une orientation choisie.
Sur la figure 4C, on a représenté un autre exemple de moyens d'attache d'un support 420 pourvu d'un marquage 410. Dans cet exemple, la face du support opposée à celle comportant le marquage est munie d'une portion collante 450.
Sur la figure 4D, on a représenté l'étape dans laquelle on colle sur une surface 470 d'un objet réel le marquage 410 et son support 420 qui ont été représentés à la figure 4C, en utilisant la portion collante 450.
Sur la figure 4E, on a représenté le réceptacle 460 de la figure 4B avec un objet réel 463 (qui peut être compris dans un kit selon un aspect de l'invention). L'objet réel 463 a une forme ovoïde. On peut noter qu'en plaçant un objet réel dans le réceptacle 460, on lie le marquage du réceptacle avec l'objet réel.
Sur la figure 4F, on a représenté une variante du support pourvu d'un marquage. Ici, le support 420 est rigide, et il peut être attaché au moyen d'une portion aimantée 450' qui coopère avec une portion aimantée non visible sur la figure disposée sur la face du support opposée à celle pourvue du marquage. Alternativement, un système de pince peut permettre la fixation d'un support rigide.
Sur la figure 5, on a représenté une variante du kit illustré à la figure 4A. Plus précisément, dans l'exemple de la figure 5, on a représenté un kit 50 comprenant un objet réel 51 (ici un cube). Directement sur l'objet réel, on a placé un marquage 52 et une information 53 permettant de retrouver un programme d'ordinateur capable de mettre en œuvre les étapes d'un procédé selon un mode de mise en œuvre de l'invention.
Les figures 6A à 6G illustrent les étapes d'un procédé d'affichage de texture en réalité augmentée telles qu'un utilisateur peut les observer.
Sur la figure 6A, on a représenté un système 60 de type tablette tactile et qui comporte un écran 61. Bien que tous ses éléments n'aient pas été représentés sur la figure, le système 60 peut être analogue au système 30 décrit en référence à la figure 3. En particulier, le système 60 comporte une caméra au dos de la face comportant l'écran.
Ici, la caméra filme une scène en faisant l'acquisition d'images visibles sur l'écran 61. La scène filmée comporte un objet réel 62 (ici un cylindre), une portion d'un marquage 63 qui entoure le cylindre, et un support 64 sur lequel le cylindre est posé.
On peut mettre en œuvre une étape d'ajustement, et cette étape comporte notamment l'affichage d'un objet virtuel superposé à l'objet réel (étape E15 de la figure 2). Ainsi, sur la figure 6B, on a affiché un objet virtuel 65 qui apparaît comme sensiblement superposé à l'objet réel 62 sur l'écran 61. L'affichage de cet objet virtuel est mis en œuvre après la détection d'une portion de marquage sur l'image acquise, comme décrit en référence à la figure 2.
II est à noter que sur la figure 6B, le cylindre virtuel tridimensionnel a un diamètre qui apparaît comme étant supérieur à celui de l'objet réel, et une hauteur qui apparaît également comme étant supérieure à celle de l'objet réel. Un utilisateur peut donc souhaiter modifier le diamètre et la hauteur de l'objet virtuel tridimensionnel. Ces modifications sont représentées par des flèches sur la figure 6C.
Sur la figure 6D, on a représenté le résultat de l'étape d'ajustement, avec un objet virtuel tridimensionnel 65 qui est bien superposé à l'objet réel dans l'image affichée sur l'écran 61.
Sur la figure 6E, on a représenté une texture 66 à appliquer sur l'objet virtuel tridimensionnel 65.
On peut noter que la texture est dans cet exemple une image bidimensionnelle. Tous les exemples décrits dans la présente demande peuvent utiliser des textures bidimensionnelles.
Sur cette figure 6E, on a également représenté la texture 67 appliquée à l'objet virtuel tridimensionnel 65. L'objet virtuel tridimensionnel 65 étant un cylindre, la texture apparaît à l'écran comme ayant été déformée pour épouser la forme du cylindre. La texture est placée en un emplacement prédéfini de l'objet virtuel tridimensionnel.
Le procédé peut ensuite comporter une étape de dessin sur l'objet réel 62. A cet effet, il n'est plus nécessaire d'afficher l'objet virtuel 67, comme illustré sur la figure 6F.
Sur la figure 6F, un utilisateur qui observe l'écran 60 peut utiliser un outil d'écriture 69 (par exemple un feutre) pour reproduire la texture sur l'objet réel 62. Le début du tracé est représenté par le trait 68 sur la figure. Bien entendu, l'image acquise par la caméra étant continuellement rafraîchie, l'utilisateur voit son tracé et la texture se superposer. Ultérieurement, pour dessiner de manière plus aisée d'autres parties 68 de la texture 67, l'utilisateur peut tourner le support 64 et entraîner la rotation de l'objet réel 62 et du marquage 63. Ainsi, et comme illustré sur la figure 6G, une autre portion du marquage peut être détectée.
La nouvelle portion du marquage visible par la caméra permet tenir compte de la rotation de l'objet réel pour ensuite afficher une texture appliquée à un objet virtuel tridimensionnel qui a subi la même rotation. On notera que cela résulte de l'utilisation d'un marquage non-répétitif. Chaque portion du marquage est associée à une position particulière de l'objet réel dans le monde réel qui permet de mettre en œuvre un nouveau recalage. Dans tous les modes de mise en œuvre et de réalisation décrits dans la présente demande, chaque portion (une portion comprend par exemple un nombre prédéfini de points particuliers) de marquage peut être associée à une position particulière de l'objet réel dans le monde réel.
En fait, en traitant de nouvelles images acquises par la caméra, le procédé peut supporter les mouvements de l'objet et/ou de la caméra dès lors qu'une portion de marquage reste visible par la caméra.
Sur la figure 7, on a représenté un utilisateur U tenant un système
70 de type ordiphone muni d'une caméra CAM. Simultanément, l'utilisateur manipule un outil d'écriture 79 pour dessiner sur un cylindre 72 tout en regardant l'écran de l'ordiphone 70 sur lequel la texture est affichée. Cet exemple d'agencement peut avoir été utilisé pour la mise en œuvre du procédé illustré sur les figures 6A à 6G décrites ci-avant.
Sur la figure 8, on a représenté un exemple d'un mode de réalisation dans lequel des lunettes de réalité augmentée 80 sont utilisées. Ici, on observe un objet 82 (une casquette) sur lequel est fixé un marquage 83. Seule une texture 87 est affichée sur les lunettes, et cette texture représente une fleur. La texture 87 est déformée car ayant été appliquée à un objet virtuel tridimensionnel en forme de casquette. Plus précisément, la fleur étant destinée à être affichée comme si elle était entre la visière et la partie supérieure de la casquette, sa tige est affichée comme cassée. T FR2018/051457
19
Pour faciliter la compréhension de cette figure 8, on a également représenté en trait discontinu la fleur 87' qui pourrait être dessinée sur l'objet 82.
On notera que dans cet exemple, il n'est pas nécessaire d'afficher également l'image acquise par une caméra (qui n'a pas été représentée ici).
Les figures 9A et 9B illustrent l'utilisation de deux marquages 91 et 92 (soit un marquage et un marquage supplémentaire) qui entourent un objet cylindrique à base circulaire 90. Les deux marquages sont placés aux deux extrémités du cylindre 90.
Sur ces figures, on a également représenté par un maillage l'objet virtuel tridimensionnel superposé à l'objet réel, et la texture 93 appliquée à l'objet virtuel tridimensionnel. Sur la figure 9A, le maillage 94 est sensiblement rectiligne et il est correspond aux deux portions de marquage qui seront visibles sur l'image acquise. Sur la figure 9B, on a effectué une torsion sur l'objet réel, ce qui a entraîné la rotation des marquages. Deux portions différentes de marquage sont alors détectées sur l'image acquise, et il est possible de mettre en œuvre un ajustement de l'objet virtuel tridimensionnel pour tenir compte de la position respective des deux marquages. Cela est représenté sur la figure 9B par un maillage déformé 94 et une texture 93 déformée.
Les modes de mise en œuvre et de réalisation décrits ci-avant permettent d'obtenir une prévisualisation d'un dessin sur un objet réel d'une manière qui permet de faciliter la réalisation d'un dessin sur l'objet réel.

Claims

REVENDICATIONS
1. Procédé d'application de texture en réalité augmentée comprenant :
- une acquisition (E02), par un module d'acquisition d'image, d'une image du monde réel sur laquelle un objet réel et au moins une portion d'un marquage lié à l'objet réel sont visibles,
- une détection (E03) de ladite au moins une portion du marquage dans ladite image du monde réel,
- un recalage (E04) d'un monde virtuel par rapport au monde réel à partir de la détection de ladite au moins une portion du marquage,
- un placement (E05), dans le monde virtuel recalé, d'un objet virtuel tridimensionnel (1) de sorte que l'objet virtuel soit sensiblement superposé dans le monde virtuel à l'objet réel dans le monde réel,
- une application (E06) d'une texture sur l'objet virtuel tridimensionnel,
- un affichage (E07) d'au moins la texture appliquée à l'objet virtuel tridimensionnel, l'affichage étant réalisé depuis un point de vue dans le monde virtuel correspondant à la position du module d'acquisition d'image dans le monde réel.
2. Procédé selon la revendication 1, dans lequel l'objet virtuel tridimensionnel (1) est choisi dans une bibliothèque (2) d'objets virtuels tridimensionnels.
3. Procédé selon la revendication 1 ou 2, comprenant en outre un affichage de ladite image du monde réel, ladite texture appliquée à l'objet virtuel tridimensionnel étant affichée en surimposition sur ladite image du monde réel affiché.
4. Procédé selon l'une des revendications 1 à 3, comprenant une étape préalable d'ajustement (E01) de l'objet virtuel tridimensionnel.
5. Procédé selon la revendication 4, dans lequel l'étape d'ajustement est mise en œuvre au moyen d'une réception (E16) d'une commande d'un utilisateur.
6. Procédé selon l'une des revendications 1 à 5, dans lequel la détection (E03) de ladite au moins une portion de marquage comprend la détection d'un nombre prédéfini de points particuliers du marquage.
7. Procédé selon l'une quelconque des revendications 1 à 6, dans lequel le nombre prédéfini de points particuliers est 3, ou compris entre 3 et 20, ou compris entre 20 et 50, ou compris entre 50 et 100, ou supérieur à 50.
8. Procédé selon l'une quelconque des revendications 1 à 7, dans lequel le marquage est un motif non-répétitif présentant un taux de contraste élevé voire noir et blanc .
9. Procédé selon l'une quelconque des revendications 1 à 8, dans lequel on applique la texture sur l'objet virtuel tridimensionnel dans une zone distincte de celle comprenant le marquage dans le monde réel.
10. Procédé selon l'une quelconque des revendications 1 à 9, dans lequel la texture est appliquée à une portion prédéfinie de l'objet virtuel tridimensionnel.
11. Procédé selon l'une quelconque des revendications 1 à 10, dans lequel au moins une portion d'un marquage supplémentaire lié à l'objet réel est visible sur ladite image du monde réel, le procédé comprenant en outre :
- une détection de ladite au moins une portion du marquage supplémentaire dans ladite image du monde réel,
- un ajustement de l'objet virtuel tridimensionnel à partir de la détection de ladite au moins une portion du marquage supplémentaire.
12. Procédé dans lequel :
- on lie un marquage et un objet réel,
- on met en œuvre le procédé selon l'une quelconque des revendications 1 à 11 au moyen du marquage et de l'objet réel.
13. Procédé selon la revendication 12, dans lequel le marquage (41) est pourvu sur un support mobile (42), et dans lequel on lie le support mobile du marquage à l'objet réel.
14. Procédé selon la revendication 12 ou 13, dans lequel le support est flexible (42) et comporte des moyens d'attache du support sur lui-même (44, 45) ou sur un objet.
15. Procédé selon la revendication 14, dans lequel lorsque le support est attaché sur lui-même et sur un objet réel, le marquage est visible tout autour de l'objet réel.
16. Procédé selon la revendication 12 ou 13, dans lequel le support est rigide et comporte des moyens d'attache des moyens d'attache du support sur lui-même ou sur un objet
17. Système de réalité augmentée comprenant :
- un module (31) d'acquisition d'images du monde réel,
- un module d'affichage (32),
- un processeur (33),
- une mémoire (34) comprenant des instructions (35) exécutables par le processeur pour :
- acquérir (36A), par le module d'acquisition d'image, une image du monde réel sur laquelle un objet réel et au moins une portion d'un marquage lié à l'objet réel sont visibles,
- détecter (36B) ladite au moins une portion du marquage dans ladite image du monde réel,
- recaler (36C) un monde virtuel par rapport au monde réel à partir de la détection de ladite au moins une portion du marquage,
- placer (36D), dans le monde virtuel recalé, d'un objet virtuel tridimensionnel de sorte que l'objet virtuel soit sensiblement superposé dans le monde virtuel à l'objet réel dans le monde réel,
- appliquer (36E) d'une texture sur l'objet virtuel tridimensionnel,
- afficher (36F) sur le module d'affichage au moins la texture appliquée à l'objet virtuel tridimensionnel, l'affichage étant réalisé depuis un point de vue dans le monde virtuel correspondant à la position du module d'acquisition d'image dans le monde réel.
18. Programme d'ordinateur comportant des instructions pour l'exécution des étapes d'un procédé selon l'une quelconque des revendications 1 à 16 lorsque ledit programme est exécuté par un ordinateur.
19. Kit comprenant une information (43) pour obtenir un programme d'ordinateur selon la revendication 18, et un support (42) sur lequel est pourvu un marquage (41) utilisable pour la mise en œuvre du procédé selon l'une quelconque des revendications 1 à 16.
20. Kit comprenant une information (53) pour obtenir un programme d'ordinateur selon la revendication 18, et un objet réel (51) pourvu d'un marquage (52) utilisable pour la mise en œuvre du procédé selon l'une quelconque des revendications 1 à 16.
21. Kit comprenant une information pour obtenir un programme d'ordinateur selon la revendication 18 et un réceptacle pour recevoir un objet réel sur lequel est pourvu un marquage utilisable pour la mise en œuvre du procédé selon l'une quelconque des revendications 1 à 16 lorsqu'un objet réel est reçu dans le réceptacle.
PCT/FR2018/051457 2017-06-19 2018-06-19 Procédé d'application de texture en réalité augmentée, système et kits correspondants WO2018234677A1 (fr)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US16/622,775 US11727647B2 (en) 2017-06-19 2018-06-19 Method and kit for applying texture in augmented reality
EP18737955.7A EP3642803A1 (fr) 2017-06-19 2018-06-19 Procédé d'application de texture en réalité augmentée, système et kits correspondants

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR1755538A FR3067842B1 (fr) 2017-06-19 2017-06-19 Procede d'application de texture en realite augmentee, systeme et kits correspondants
FR1755538 2017-06-19

Publications (1)

Publication Number Publication Date
WO2018234677A1 true WO2018234677A1 (fr) 2018-12-27

Family

ID=60182648

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/FR2018/051457 WO2018234677A1 (fr) 2017-06-19 2018-06-19 Procédé d'application de texture en réalité augmentée, système et kits correspondants

Country Status (4)

Country Link
US (1) US11727647B2 (fr)
EP (1) EP3642803A1 (fr)
FR (1) FR3067842B1 (fr)
WO (1) WO2018234677A1 (fr)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11645756B2 (en) * 2019-11-14 2023-05-09 Samsung Electronics Co., Ltd. Image processing apparatus and method

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10301849A1 (de) * 2003-01-20 2004-08-05 Augmented Solutions Gmbh System und Verfahren zur statischen Einblendung von virtuellen Objekten in reale Umgebungen
EP1720131A1 (fr) * 2005-05-03 2006-11-08 Seac02 S.r.l. Système de réalité augmentée avec identification du marqueur réel d'objet
EP2747034A2 (fr) * 2012-12-21 2014-06-25 Dassault Systemes Delmia Corp. Correction de localisation d'objets virtuels

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080071559A1 (en) * 2006-09-19 2008-03-20 Juha Arrasvuori Augmented reality assisted shopping
DE102009049073A1 (de) * 2009-10-12 2011-04-21 Metaio Gmbh Verfahren zur Darstellung von virtueller Information in einer Ansicht einer realen Umgebung
US20130083008A1 (en) * 2011-09-30 2013-04-04 Kevin A. Geisner Enriched experience using personal a/v system
US20130328925A1 (en) * 2012-06-12 2013-12-12 Stephen G. Latta Object focus in a mixed reality environment
US9619911B2 (en) * 2012-11-13 2017-04-11 Qualcomm Incorporated Modifying virtual object display properties
US9336629B2 (en) * 2013-01-30 2016-05-10 F3 & Associates, Inc. Coordinate geometry augmented reality process
US9928652B2 (en) * 2013-03-01 2018-03-27 Apple Inc. Registration between actual mobile device position and environmental model
US9844324B2 (en) * 2013-03-14 2017-12-19 X-Nav Technologies, LLC Image guided navigation system
US9552674B1 (en) * 2014-03-26 2017-01-24 A9.Com, Inc. Advertisement relevance
US11257143B2 (en) * 2014-12-30 2022-02-22 Hand Held Products, Inc. Method and device for simulating a virtual out-of-box experience of a packaged product
US9685005B2 (en) * 2015-01-02 2017-06-20 Eon Reality, Inc. Virtual lasers for interacting with augmented reality environments
US10835199B2 (en) * 2016-02-01 2020-11-17 The University Of North Carolina At Chapel Hill Optical geometry calibration devices, systems, and related methods for three dimensional x-ray imaging
US10169922B2 (en) * 2016-02-16 2019-01-01 Microsoft Technology Licensing, Llc Reality mixer for mixed reality
BR102018003125B1 (pt) * 2018-02-19 2022-05-10 Petróleo Brasileiro S.A. - Petrobras Método para reconhecimento ótico de marcadores em ambiente externo
US20210405654A1 (en) * 2018-03-22 2021-12-30 Infinium Robotics Pte Ltd Autonomous taking off, positioning and landing of unmanned aerial vehicles (uav) on a mobile platform
JP7462769B2 (ja) * 2020-01-29 2024-04-05 イントリンジック イノベーション エルエルシー 物体の姿勢の検出および測定システムを特徴付けるためのシステムおよび方法
JP7405735B2 (ja) * 2020-12-21 2023-12-26 トヨタ自動車株式会社 表示システム、表示装置、及びプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10301849A1 (de) * 2003-01-20 2004-08-05 Augmented Solutions Gmbh System und Verfahren zur statischen Einblendung von virtuellen Objekten in reale Umgebungen
EP1720131A1 (fr) * 2005-05-03 2006-11-08 Seac02 S.r.l. Système de réalité augmentée avec identification du marqueur réel d'objet
EP2747034A2 (fr) * 2012-12-21 2014-06-25 Dassault Systemes Delmia Corp. Correction de localisation d'objets virtuels

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
FIALA M: "Comparing ARTag and ARToolkit plus fiducial marker systems", HAPTIC AUDIO VISUAL ENVIRONMENTS AND THEIR APPLICATIONS, 2005 IREE INT ERNATIONAL WORKSHO ON OCT. 1, 2005, PISCATAWAY, NJ, USA,IEEE, October 2005 (2005-10-01), pages 147 - 152, XP010858685, ISBN: 978-0-7803-9376-9, DOI: 10.1109/HAVE.2005.1545669 *
GERNOT JP HEISENBERG ET AL: "Arm prosthesis simulation on a virtual reality L-shaped workbench display system using a brain computer interface", PROCEEDINGS 10TH INTERNATIONAL CONFERENCE ON DISABILITY, VIRTUAL REALITY AND ASSOCIATED TECHNOLOGIES, 2 September 2014 (2014-09-02), Gothenburg, Sweden, pages 109 - 117, XP055520658, Retrieved from the Internet <URL:http://www.icdvrat.org/2014/papers/ICDVRAT2014_S04N3_Heisenberg_etal.pdf> [retrieved on 20181031] *
HERVE J-Y ET AL: "Dynamic registration for augmented reality in telerobotics applications", SYSTEMS, MAN, AND CYBERNETICS, 2000 IEEE INTERNATIONAL CONFERENCE ON NASHVILLE, TN, USA 8-11 OCT. 2000, PISCATAWAY, NJ, USA,IEEE, US, vol. 2, 8 October 2000 (2000-10-08), pages 1348 - 1353, XP010524844, ISBN: 978-0-7803-6583-4, DOI: 10.1109/ICSMC.2000.886041 *

Also Published As

Publication number Publication date
EP3642803A1 (fr) 2020-04-29
FR3067842A1 (fr) 2018-12-21
US20210248823A1 (en) 2021-08-12
US11727647B2 (en) 2023-08-15
FR3067842B1 (fr) 2020-09-25

Similar Documents

Publication Publication Date Title
WO2018109421A1 (fr) Procede de mesure d&#39;une partie du corps a partir de photographies numeriques, et mise en œuvre d&#39;un tel procede pour la fabrication de chaussures sur mesure
EP1733181A1 (fr) Palpeur mixte, optique et mecanique et procede de recalage y afferant
EP2553389B1 (fr) Procédé et système d&#39;aide au positionnement d&#39;une pièce sur un élément de structure.
EP3273905B1 (fr) Procede de determination d&#39;une cartographie des contacts et/ou des distances entre les arcades maxillaire et mandibulaire d&#39;un individu
WO2016162538A1 (fr) Bracelet electronique pour l&#39;affichage d&#39;un contenu numerique interactif destine a etre projete sur une zone d&#39;un bras
WO2018234677A1 (fr) Procédé d&#39;application de texture en réalité augmentée, système et kits correspondants
FR3062229A1 (fr) Procede d&#39;affichage sur un ecran d&#39;au moins une representation d&#39;un objet, programme d&#39;ordinateur, dispositif et appareil electroniques d&#39;affichage associes
FR3027144A1 (fr) Procede et dispositif de determination de mouvement entre des images video successives
WO2017077217A1 (fr) Calibration 3d d&#39;un systeme de mapping video
EP3761267A1 (fr) Procédé et dispositif de détermination de l&#39;amplitude d&#39;un mouvement effectué par un membre d&#39;un corps articulé
FR3075426A1 (fr) Procede et systeme de projection d&#39;un motif en realite mixte
WO2009040368A1 (fr) Système et méthode d&#39;acquisition de caractéristiques tridimensionnelles d&#39;un objet à partir d&#39;images prises par une pluralité d&#39;organes de mesure
FR2988327A1 (fr) Procede et systeme de fabrication d&#39;un document securise
FR3034890A1 (fr) Dispositif electronique de projection interactif
EP3724749B1 (fr) Appareil pour application de réalité augmentée
WO2014174363A1 (fr) Système de présentation d&#39;objets
EP2671376A1 (fr) Procédé et dispositif de traitement de séquences d&#39;images d&#39;une scène et système de surveillance d&#39;une scène comportant un tel dispositif
FR3121251A3 (fr) Procédé et système informatisés de navigation en réalités virtuelles et programme d’ordinateur
WO2018083099A1 (fr) Procédé d&#39;affichage d&#39;une image de réalité mixte
EP2059903B1 (fr) Procede et outil de configuration d&#39;au moins un systeme de videosurveillance intelligente
FR2974435A1 (fr) Procede et dispositif de creation d&#39;images stereoscopiques
FR3059863A1 (fr) Systeme de mapping video integrant un support mecanique servant de presentoir
BE1028997A1 (fr) Procédé et système de détermination d&#39;une taille normalisée d&#39;une pupille d&#39;un œil
FR3005819A1 (fr) Dispositif d&#39;aide a la maintenance et procede de maintenance utilisant un tel dispositif
FR3129759A1 (fr) Procédé d’aide au positionnement d’un objet par rapport à une zone cible d’une matrice de pixels d’une caméra, dispositif et programme d’ordinateur correspondants

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18737955

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2018737955

Country of ref document: EP

Effective date: 20200120