WO2018083099A1 - Procédé d'affichage d'une image de réalité mixte - Google Patents

Procédé d'affichage d'une image de réalité mixte Download PDF

Info

Publication number
WO2018083099A1
WO2018083099A1 PCT/EP2017/077912 EP2017077912W WO2018083099A1 WO 2018083099 A1 WO2018083099 A1 WO 2018083099A1 EP 2017077912 W EP2017077912 W EP 2017077912W WO 2018083099 A1 WO2018083099 A1 WO 2018083099A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
camera
virtual
elements
shooting
Prior art date
Application number
PCT/EP2017/077912
Other languages
English (en)
Inventor
Cécile SCHMOLLGRUBER
Edwin AZZAM
Olivier Braun
Pierre YVER
Original Assignee
Stereolabs
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Stereolabs filed Critical Stereolabs
Priority to US16/347,462 priority Critical patent/US11062518B2/en
Publication of WO2018083099A1 publication Critical patent/WO2018083099A1/fr

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/156—Mixing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals

Definitions

  • the present invention relates to a method for displaying a mixed reality image.
  • the present invention also relates to a computer program product associated with such a method.
  • the present invention further relates to a display assembly comprising such a computer program product.
  • mixed reality differs from virtual reality in the use of real-world images.
  • Mixed reality is distinguished from augmented reality by the fact that the virtual elements are not superimposed directly in the user's field of vision, but are integrated into images of the user's field of vision.
  • images of the field of view come from an image capture system of the real world.
  • the images of the field of view including the integrated virtual elements are then projected into the field of vision of said user.
  • the subject of the invention is a method for displaying a mixed reality image, the mixed reality image being associated with a field of view of a user acquired by a camera and formed of a scene included in said field of view, the method comprising the steps of:
  • a display assembly comprising a camera capable of acquiring images of the user's field of view and a mixed reality image display
  • the first image being an image of the scene in the user's field of vision, the scene comprising real elements
  • the present invention relates to a physical based rendering method (PBR) using actual camera and lighting parameters obtained by calibration or measurement in order to model a virtual camera identical to the actual camera and presenting, in particular, the same optical characteristics as the actual camera.
  • PBR physical based rendering method
  • the display method comprises one or more of the following characteristics, taken separately or in any technically possible combination:
  • each virtual element is associated with virtual characteristics of shooting and illumination, the virtual elements integrated in the second image having at least one virtual characteristic of shooting identical to a corresponding real shooting characteristic or at least a virtual illumination characteristic identical to a corresponding actual illumination characteristic;
  • the modification step comprises modeling a virtual camera from the shooting characteristics, the modifying step comprising modifying the virtual elements to be integrated so that the modified virtual elements correspond to the images of the virtual elements that would have were obtained from the virtual camera;
  • the camera comprises at least one sensor and at least one optics, the sensor having intrinsic characteristics and dynamic limitations, the optics having intrinsic characteristics and imperfections, the camera having adjustments and being able to be changed position when shooting, the shooting characteristics being chosen from the list made up: intrinsic characteristics of the camera sensor, dynamic limitations of the camera sensor, intrinsic characteristics of the camera optics, imperfections camera optics, camera settings, and possible changes in camera position when shooting;
  • the real elements comprise at least one light source, the illumination characteristics being relative to at least one of the position or the intensity of said light source;
  • the modifying step comprises modifying the appearance of the virtual elements by applying lighting effects on the virtual elements as a function of the illumination and position characteristics;
  • the camera is a stereoscopic camera, the first image being a stereoscopic image, the first image being formed of a first left image and a first right image, the integration step comprising the integration of the modified elements into the first image; one of the first left image or the first right image taken as reference image to obtain a second left image, respectively a second right image, the integration step also comprising the application of a transformation to the second image left, respectively the second right image, obtained to obtain a second right image, respectively a second left image, the second image being a stereoscopic image formed of the second left image and the second right image;
  • the selection step is implemented by the user.
  • the invention also relates to a computer program product comprising a readable information medium, on which is stored a computer program comprising program instructions, the computer program being loadable on a processing unit. of data and adapted to cause the implementation of a display method as described above when the computer program is implemented on the data processing unit.
  • the invention also relates to a display unit for a mixed reality image, the mixed reality image being associated with a field of view of a user and formed of a scene included in said field of view, the set comprising:
  • a camera capable of acquiring images of the user's field of vision; a display of mixed reality images;
  • a calculator comprising a processor comprising a data processing unit
  • FIG. 1 a schematic view of a display assembly and a scene
  • FIG. 2 is a flowchart of an example of a display method according to the invention.
  • FIG. 12 is a scene from the real world, both an indoor scene and an outdoor scene.
  • the assembly 10 comprises a display 14 of mixed reality images, a camera 15 and a computer 16.
  • the display 14 and the camera 15 interact with the computer 16. Such interaction is, for example, performed by a wired connection or a wireless connection, such as a Wifi or Bluetooth connection.
  • the display 14 and the camera 15 are embedded in a mixed reality helmet 17.
  • the helmet 17 is adapted to be positioned on the head of a user 18.
  • the headset 17 is configured to immerse the user 18 in a mixed reality.
  • the camera 15 is suitable for taking color images.
  • the range of wavelengths detected by the camera 15 corresponds, for example, to the visible range.
  • the visible range is defined as the range of wavelengths in the broad sense between 380 nanometers (nm) and 780 nm.
  • the camera 15 includes one or more sensors.
  • sensors are photosensitive components for converting electromagnetic radiation into an analog electrical signal.
  • the components are, for example, CCD components (English acronym for Charge-Coupled Device).
  • the camera 15 also includes one or more optics.
  • Optics are, for example, lenses or mirrors.
  • the camera 15 is preferably a stereoscopic camera.
  • a stereoscopic camera is a camera comprising two optical sensors capable of acquiring each image of the same scene from two slightly distant points of view. Images acquired by such sensors are then presented to the user so that the image on the left is viewed only by the user's left eye and the right image is only seen by the right eye of the user. the user, giving a relief effect.
  • the camera 15 has the characteristics of the shooting system described in the patent application WO 2016/097609 A.
  • the camera 15 is disposed on the helmet 17 so as to acquire images of the field of view of the user 18.
  • the field of view is defined as the portion of space seen by an eye looking straight ahead and motionless.
  • the camera 15 is able to communicate the acquired images to the computer 16.
  • the camera 15 has real shooting characteristics.
  • the actual shooting characteristics are, for example, chosen from the list made up of: intrinsic characteristics of the sensor (s) of the camera 15, dynamic limitations of the sensor (s) of the camera 15, intrinsic characteristics of the optical (s) of the camera 15, imperfections of the optics or optics of the camera 15, adjustments (gain, exposure time, white balance) of the camera 15 and possible changes in position of the camera 15 when taking view.
  • the intrinsic characteristics of the sensor (s) of the camera 15 are, for example, relating to the resolution of the camera 15, to the noise of the camera 15 and / or to the modulation transfer function of the camera 15.
  • the resolution of the camera 15 is the number of pixels of each sensor of the camera 15 per unit length.
  • the resolution of the camera 15 is, for example, obtained directly from a manual provided by the manufacturer of the camera 15.
  • the noise of the camera 15 is a random noise that very slightly varies the intensity of the pixels of the camera 15 when the camera 15 acquires a fixed scene.
  • the noise of the camera 15 is, for example, quantified by a calibration.
  • a calibration consists, for example, in acquiring, with constant lighting, a set of images with the camera 15 and a fixed scene.
  • the fixed scene is preferably a colorimetric chart, such as a colorimetric chart of Macbeth to observe a wide range of color.
  • the variation of pixel intensity is then modeled as a Gaussian distribution.
  • the modulation transfer function (abbreviated as FTM) of an optical system is a function for evaluating the contrast of the image obtained by the optical system as a function of the spatial frequency.
  • the modulation transfer function of the camera 15 is, for example, obtained by calibration from optical patterns at different spatial frequencies.
  • the dynamic limitations of the camera sensor 15 are, for example, relating to the color deterioration between a scene in the field of view of the camera 15 and the image of the scene acquired by the camera 15, and this in function lighting and contrast of the scene.
  • Such color distortion is modeled from a function, called the response function of the camera 15.
  • the response function of the camera 15 makes the link between the luminance of the scene acquired by the camera 15 and the intensity of the images. pixels of the image acquired by the camera 15.
  • Such a function is, for example, approximated by a radiometric calibration. Mitsunaga's document entitled “Radiometric self-calibration", published in Computer Vision and Pattern Recognition, 1999, IEEE Computer Society Conference on. (Vol.1) describes a method for obtaining such a function.
  • the intrinsic characteristics of the optics or optics of the camera 15 are, for example, relating to the aperture and the focal length image of the camera 15.
  • the opening of an optical system is a dimensionless number defined as the ratio of the image focal length of the optical system to the diameter of the entrance pupil of said optical system.
  • the opening of the camera 15 and the image focal length of the camera 15 are, for example, obtained directly from the manual supplied by the manufacturer of the camera 15.
  • the aperture and the image focal length of the camera 15 in relation to the characteristics of the images acquired by the camera 15 make it possible to estimate the depth of field and, thus, the progressive blurring effect generated by the camera 15.
  • the depth The field of the camera 15 corresponds to the area of the space clearly acquired by the camera 15.
  • the progressive blur is the blur due to the depth of field of the camera 15.
  • the imperfections of the optics of the camera 15 are, for example, relative to the geometric aberrations induced by the optics of the camera 15.
  • Such geometric aberrations are, for example, spherical aberrations, coma, astigmatism, field curvature or distortion.
  • Geometric aberrations are, for example, quantified by a calibration of the camera 15.
  • the distortion is, for example, calibrated from a rectangular checkerboard pattern.
  • the detection of the corners of each checkerboard makes it possible to define a distortion function.
  • chromatic aberrations are, for example, estimated in similar ways by separating the different color channels: red, green and blue from an image.
  • the settings of the camera 15 are, for example, relating to the saturation of the camera 15, the white balance of the camera 15 and / or the exposure time of the camera 15.
  • Saturation is a coordinate of the TSL color system (acronym for Hue, Saturation, Brightness). Saturation provides a measure of the intensity of the color identified by its hue. Brightness is a measure of the amount of light.
  • the saturation of the camera 15 is, for example, determined manually by the user.
  • the white balance is a setting to be made on a camera to compensate the color temperature, so that the white areas of a scene in the field of view of the camera appear white on the image of the scene acquired by the camera.
  • the white balance of the camera 15 is determined by a measurement or directly by the manual provided by the manufacturer of the camera 15.
  • the exposure time or exposure time of the camera 15 is the time interval during which the shutter of the camera 15 passes light during a shooting, and therefore the duration of the exposure of the sensors from camera 15 to light.
  • the exposure time of the camera 15 in relation to the characteristics of the images acquired by the camera 15 makes it possible to estimate the effect of camera shake 15.
  • the camera shake 15 is the blur produced by the camera 15. the movement of the camera 15 when shooting.
  • Possible changes of position of the camera 15 during the shooting are, for example, relating to a rolling shutter effect (English Rolling Shutter).
  • the rolling shutter effect is a photographic mechanism that consists of recording an image by unwinding, that is to say that the images are acquired line by line by scanning. Such a mechanism generates artifacts when the image acquired by the camera includes fast moving objects or subject to rapidly fluctuating lighting. Such artifacts are the deformation of the objects considered.
  • Such artifacts are, for example, modeled by estimating the speed of movement of the camera. Such an estimate is, for example, described in WO 2015/071458.
  • the speed of movement is, for example, obtained using a camera according to the shooting system described in the patent application WO 2016/097609 A.
  • the position of the camera in space for each image acquired by the camera is provided by the camera.
  • the speed between each image is then deduced from the positions taken by the camera between two successive images.
  • the computer 16 is able to collect the images from the camera 15 and to process said images to obtain modified images.
  • the computer 16 is able to transmit the modified images to the display 14 for the display of said images.
  • the computer 16 is, for example, a computer.
  • the computer 16 comprises a processor 21 comprising a data processing unit 22, memories 24 and an information carrier reader 26.
  • the computer 16 optionally includes an input device 28 such as a keyboard or a joystick and a display unit 30.
  • the computer 16 also includes connections to a network such as the local network that allows multiple users to connect to a network.
  • the computer 16 is in interaction with a computer program product 32.
  • the computer program product 32 comprises an information carrier 34.
  • the information carrier 34 is a support readable by the computer 16, usually by the data processing unit 22.
  • the readable information medium 34 is a medium adapted to store electronic instructions and capable of being coupled to a bus of a computer system.
  • the information medium is a floppy disk or floppy disk, an optical disk, a CD-ROM, a magneto-optical disk, a ROM memory, a RAM memory, a disk EPROM memory, an EEPROM memory, a magnetic card or an optical card.
  • the computer program including program instructions.
  • the computer program is loadable on the data processing unit 22 and is adapted to lead to the implementation of a display method which will be described in more detail in the following description.
  • the computer 16 is dissociated from the headset 17.
  • the computer 16 is embedded in the helmet 17.
  • the display method comprises a step 100 of providing the display assembly 10 described above.
  • the display method also comprises a step 1 10 of acquiring a first image by the camera 15 according to the actual characteristics of the camera 15.
  • the first image is an image of a scene included in the user's field of view 18.
  • the scene comprises real elements.
  • the actual elements include at least one light source.
  • the first image is a stereoscopic image.
  • the first image is then formed of a first left image and a first right image.
  • the display method comprises a step 120 of extraction, from the first image, of actual illumination characteristics and position of the elements. real.
  • the extraction step is performed by the computer 16 interacting with the computer program product 32.
  • the illumination characteristics relate to at least one of the position, intensity or direction of propagation of the light sources of the scene of the first image.
  • the position and the intensity of the light sources of the scene are, for example, obtained by means of a method as described in the article by Meilland et al. entitled. "3D High Dynamic Range Visual Dense SLAM and its application to Real-Time Object Re-lighting.” published in Mixed and Augmented Reality (ISMAR), 2013 IEEE International Symposium on. IEEE, 2013.
  • the position and intensity of the light sources of the scene are identified from images of the scene acquired at very low exposure times and known precisely. More precisely, by lowering the exposure of the camera 15, only the strong points of the light sources are conserved and the ambient lighting due to the reflections of the light rays on more or less reflective surfaces of the real scene is suppressed.
  • the images are then put into binary form, which isolates the light sources.
  • the position of the light sources relative to the camera 15 is determined by the depth map providing the three-dimensional position of each pixel.
  • the position in the space relative to a common global reference is then determined by calculating the position of the current camera.
  • the positions of the light sources of the scene are identified by mapping the light sources dynamically or a priori.
  • Such a variant involves finding a reference of relative origin, when the camera does not have an absolute GPS positioning system (acronym for Global Positioning System).
  • the position characteristics are relative to the position of the real elements in the scene of the first image.
  • the extraction step 120 makes it possible to obtain a depth map.
  • a depth map is a map representing the scene acquired by the camera with grayscale or color levels, each level of gray or color corresponding to a distance between an element of the scene and the camera 15.
  • the depth map is , for example, obtained directly via the camera 15 during the acquisition of the first image.
  • the depth map and the positions of the light sources are recorded in a database in order to find a position in the space previously visualized by the camera by pointing the camera towards the same scene.
  • the display method also comprises a step 130 for selecting virtual elements to be integrated in the first image.
  • Each virtual element is associated with virtual characteristics of shooting and illumination.
  • the elements to be integrated are, for example, virtual characters or static or moving virtual objects.
  • the selection step is implemented by the user 18.
  • the user 18 selects the virtual elements to be integrated among a list of virtual elements according to the use that said user 18 makes of the reality helmet
  • the user 18 launches the application corresponding to the video game and the virtual elements corresponding to the video game are automatically selected by the computer 16.
  • the selection step is only performed by the computer 16.
  • the display method comprises a step 140 for modifying the virtual elements as a function of the actual characteristics of the shooting, illumination and position.
  • the modification step 140 is performed by the computer 16 interacting with the computer program product 32.
  • the modification step 140 includes modeling a virtual camera from the shooting characteristics and modifying the virtual elements to be integrated so that the modified virtual elements correspond to the images of the virtual elements that would have been obtained from the virtual camera. In practice, this amounts to directly processing the virtual elements to be integrated with the artifacts introduced by the virtual camera.
  • the virtual camera has one or more virtual sensors and one or more virtual optics.
  • the virtual camera also has virtual shooting characteristics that are identical to the actual camera shooting characteristics.
  • the virtual sensor (s) of the virtual camera have the same intrinsic characteristics.
  • the virtual camera is a camera having the same resolution as the camera 15.
  • the resolution of the modified virtual elements is limited to the resolution of the camera 15.
  • the images generated by the virtual camera has the same noise as the camera 15.
  • the modified virtual elements then have such a noise.
  • the virtual camera has the same modulation transfer function as the camera 15.
  • processing is, for example, obtained by reducing the size of the images of the virtual elements, and then applying filters, such as Gaussian filters to said images obtained. Then, the images of the elements are re-enlarged to their original sizes and filters, including a Bayer filter, are applied to said images.
  • an additional blur is applied to the edges of the virtual elements to be integrated.
  • a Gaussian filter is applied on the mask of the geometry of the virtual elements, to obtain a gradient (the values of the mask being converted from binary to floating between 0 and 1).
  • the geometry mask of the virtual elements is a binary image for which the intensities are 0 for the pixels representing a real element and are 1 for the pixels representing a virtual element.
  • the contours of the virtual elements are merged with the real image in a progressive way using a mask with a threshold.
  • the threshold of the mask makes it possible to regulate the propagation of the blur around the virtual elements to avoid a halo effect.
  • the virtual sensor (s) of the virtual camera have the same dynamic limitations.
  • the response function is applied to the virtual elements to integrate so as to reproduce on the virtual elements to integrate the color alteration of the first image.
  • the actual shooting characteristics are the intrinsic characteristics of the optics of the camera 15
  • the virtual optical (s) of the virtual camera have the same intrinsic characteristics.
  • the opening of the virtual camera and the image focal length of the virtual camera are identical to the opening of the camera 15 and the focal length image of the camera 15.
  • the opening of the camera 15, the focal length image of the camera 15 and the depth map of the scene of the first image make it possible to determine a progressive blur effect due to the depth of field of the camera 15.
  • the depth of field extends from half of the hyperfocal distance to infinity.
  • the hyperfocal distance is the minimum distance from which it is possible to focus while keeping objects at infinity with acceptable sharpness. Focusing at this distance provides the largest acceptable sharpness range, which ranges from half that distance to infinity.
  • the progressive blur effect occurs in the area beyond the sharpness area defined by the hyperfocal distance.
  • the virtual camera is then configured to reproduce such a progressive blur effect.
  • a progressive blur effect is present on the modified virtual elements.
  • the optical sensor or sensors of the virtual camera have the same imperfections.
  • the virtual camera reproduces the geometric aberrations of the camera 15.
  • such geometric aberrations are present on the modified virtual elements.
  • the geometric aberrations are directly deleted from the first image and are therefore not modeled on the virtual camera.
  • the virtual camera has the same settings as the camera 15.
  • the virtual camera has the same saturation as the camera 15.
  • the saturation of the colors of the modified virtual elements is consistent with the color saturation of the camera 15.
  • the virtual camera has the same white balance as the camera 15.
  • the rendering of the modified virtual elements is in accordance with the white balance of the camera 15.
  • the virtual camera has the same exposure time as the camera 15.
  • the exposure time of the camera 15 and the position of the camera 15 make it possible to deduce the acceleration of the camera 15 and thus determine the effect of camera shake 15.
  • the virtual camera is then configured to reproduce such a motion blur effect.
  • Such a motion blur effect is present on the modified virtual elements.
  • the virtual camera has the same positional changes as the camera 15.
  • the virtual camera reproduces the artifacts due to the rolling shutter effect of the camera 15. Thus, such artifacts are present on the modified virtual elements.
  • such artifacts are directly deleted from the first image and are therefore not modeled on the virtual camera.
  • the modification step 140 further comprises modifying the appearance of the virtual elements to be integrated as a function of the actual illumination and position characteristics.
  • such an appearance change is to apply lighting effects to the modified virtual elements.
  • the lighting effects are, for example, the projection of shadows from the elements to be integrated to elements of the first image or vice versa, or the modification of the illumination of the textures of the virtual elements (modifying the luminous intensity but also the hue of said virtual elements).
  • the display method comprises a step 150 of integration of the virtual elements modified in the first image to obtain a second image.
  • the second image is an image of mixed reality.
  • the integration step 150 is performed by the computer 16 interacting with the computer program product 32.
  • the second image is also a stereoscopic image.
  • the second image is then formed of a second left image and a second right image.
  • the integration step 150 then comprises the integration of the modified elements on one of the first left image or the first right image taken as a reference image to obtain the second left image, respectively the second right image.
  • the virtual camera providing the rendering of the left image undergoes a transformation to get the position of the right virtual camera.
  • the transformation makes it possible to shift the virtual elements of the second image taken as reference by a slightly different distance to obtain a parallax effect.
  • Such a transformation is done by modifying the position of the right virtual camera by a distance equal to the separation between the two sensors of the real stereoscopic camera.
  • the virtual shooting characteristics of the virtual elements are preferably identical to the corresponding real shooting characteristics.
  • the virtual illumination characteristics are preferably identical to the corresponding actual illumination characteristics.
  • the display method comprises a step 160 of displaying the second image in the field of view of the user.
  • the second image is displayed on the display 14.
  • the second image is a stereoscopic image
  • the second left image is displayed on the display 14 in front of the user's left eye
  • the second right image is displayed on the display 14 in front of the user's right eye.
  • the second image is displayed on any other display, such as a screen, in the user's field of view.
  • the method uses the characteristics of the camera 15 and actual lighting obtained by calibration or measurement to model an identical virtual camera having the same shooting characteristics as the camera 15.
  • the rendering obtained by such a virtual camera is then fused coherently and photorealistically into the image captured by the actual camera.
  • the second images are rendered in real time to the user, which increases the feeling of realism.
  • Such a display method therefore improves the rendering of mixed reality images obtained by the integration of virtual elements in real-world images.

Abstract

Procédé d'affichage d'une image de réalité mixte L'invention concerne un procédé d'affichage d'une image de réalité mixte, le procédé comprenant les étapes de : - fourniture d'un ensemble d'affichage (10) comprenant une caméra (15) et un afficheur (14), - acquisition d'une première image par la caméra (15) selon des caractéristiques réelles de prise de vue, la première image étant une image d'une scène dans le champ de vision d'un utilisateur, - extraction, à partir de la première image, de caractéristiques réelles d'éclairement et de position, - sélection d'éléments virtuels à intégrer dans la première image, - modification des éléments virtuels en fonction des caractéristiques réelles de prise de vue, d'éclairement et de position, - intégration des éléments virtuels modifiés dans la première image pour obtenir une deuxième image, et - affichage de la deuxième image sur l'afficheur (14).

Description

Procédé d'affichage d'une image de réalité mixte
La présente invention concerne un procédé d'affichage d'une image de réalité mixte.
La présente invention concerne, également, un produit programme d'ordinateur associé à un tel procédé.
La présente invention concerne, en outre, un ensemble d'affichage comprenant un tel produit programme d'ordinateur.
Dans le cadre du développement de la réalité mixte, il est connu d'intégrer des éléments virtuels, c'est-à-dire des images de synthèse, dans des images provenant du monde réel pour obtenir des images dites de réalité mixte. La réalité mixte se distingue de la réalité virtuelle par l'utilisation d'images du monde réel. La réalité mixte se distingue de la réalité augmentée par le fait que les éléments virtuels ne sont pas superposés directement dans le champ de vision de l'utilisateur, mais sont intégrés dans des images du champ de vision de l'utilisateur. De telles images du champ de vision proviennent d'un système de capture d'image du monde réel. Les images du champ de vision comprenant les éléments virtuels intégrés sont ensuite projetées dans le champ de vision dudit utilisateur.
Cependant, les éléments intégrés dans de telles images de réalité mixte se démarquent des éléments initialement présents sur l'image réelle. Le rendu de tels éléments intégrés n'est donc pas réaliste.
Il existe donc un besoin pour un procédé améliorant le rendu d'images de réalité mixte obtenues par l'intégration d'éléments virtuels dans des images du monde réel.
A cet effet, l'invention a pour objet un procédé d'affichage d'une image de réalité mixte, l'image de réalité mixte étant associée à un champ de vision d'un utilisateur acquis par une caméra et formée d'une scène incluse dans ledit champ de vision, le procédé comprenant les étapes de :
- fourniture d'un ensemble d'affichage comprenant une caméra propre à acquérir des images du champ de vision de l'utilisateur et un afficheur d'images de réalité mixte,
- acquisition d'une première image par la caméra selon des caractéristiques réelles de prise de vue, la première image étant une image de la scène dans le champ de vision de l'utilisateur, la scène comprenant des éléments réels,
- extraction, à partir de la première image, de caractéristiques réelles d'éclairement et de position des éléments réels,
- sélection d'éléments virtuels à intégrer dans la première image,
- modification des éléments virtuels en fonction des caractéristiques réelles de prise de vue, d'éclairement et de position, - intégration des éléments virtuels modifiés dans la première image pour obtenir une deuxième image, la deuxième image étant une image de réalité mixte, et
- affichage de la deuxième image sur l'afficheur.
L'invention concerne une méthode de rendu à base physique (PBR) utilisant les paramètres d'une caméra réelle et d'éclairage réels obtenus par calibration ou mesure afin de modéliser une caméra virtuelle identique à la caméra réelle et présentant, notamment, les mêmes caractéristiques optiques que la caméra réelle. Le rendu obtenu par la caméra virtuelle est alors fusionné de manière cohérente et photo-réaliste dans l'image capturée par la caméra réelle.
Selon d'autres aspects avantageux de l'invention, le procédé d'affichage comprend une ou plusieurs des caractéristiques suivantes, prises isolément ou suivant toutes les combinaisons techniquement possibles :
- chaque élément virtuel est associé à des caractéristiques virtuelles de prise de vue et d'éclairement, les éléments virtuels intégrés dans la deuxième image ayant au moins une caractéristique virtuelle de prise de vue identique à une caractéristique réelle de prise de vue correspondante ou au moins une caractéristique virtuelle d'éclairement identique à une caractéristique réelle d'éclairement correspondante ;
- l'étape de modification comprend la modélisation d'une caméra virtuelle à partir des caractéristiques de prise de vue, l'étape de modification comprenant la modification des éléments virtuels à intégrer pour que les éléments virtuels modifiés correspondent aux images des éléments virtuels qui auraient été obtenues à partir de la caméra virtuelle ;
- la caméra comprend au moins un capteur et au moins une optique, le capteur présentant des caractéristiques intrinsèques et des limitations dynamiques, les optiques présentant des caractéristiques intrinsèques et des imperfections, la caméra présentant des réglages et étant susceptible d'être changée de position lors de la prise de vue, les caractéristiques de prise de vue étant choisies dans la liste constituée : des caractéristiques intrinsèques du capteur de la caméra, des limitations dynamiques du capteur de la caméra, des caractéristiques intrinsèques de l'optique de la caméra, des imperfections de l'optique de la caméra, des réglages de la caméra et des changements éventuels de position de la caméra lors de la prise de vue ;
- les éléments réels comprennent au moins une source de lumière, les caractéristiques d'éclairement étant relatives à au moins l'un de la position ou de l'intensité de ladite source de lumière ; - l'étape de modification comprend la modification de l'apparence des éléments virtuels en appliquant des effets d'éclairage sur les éléments virtuels en fonction des caractéristiques d'éclairement et de position ;
- la caméra est une caméra stéréoscopique, la première image étant une image stéréoscopique, la première image étant formée d'une première image gauche et d'une première image droite, l'étape d'intégration comprenant l'intégration des éléments modifiés dans l'une de la première image gauche ou de la première image droite prise comme image de référence pour obtenir une deuxième image gauche, respectivement une deuxième image droite, l'étape d'intégration comprenant également l'application d'une transformation à la deuxième image gauche, respectivement la deuxième image droite, obtenue pour obtenir une deuxième image droite, respectivement une deuxième image gauche, la deuxième image étant une image stéréoscopique formée de la deuxième image gauche et de la deuxième image droite ;
- l'étape de sélection est mise en œuvre par l'utilisateur.
L'invention a, également, pour objet un produit programme d'ordinateur comportant un support lisible d'informations, sur lequel est mémorisé un programme d'ordinateur comprenant des instructions de programme, le programme d'ordinateur étant chargeable sur une unité de traitement de données et adapté pour entraîner la mise en œuvre d'un procédé d'affichage tel que décrit précédemment lorsque le programme d'ordinateur est mis en œuvre sur l'unité de traitement des données.
L'invention concerne aussi un ensemble d'affichage d'une image de réalité mixte, l'image de réalité mixte étant associée à un champ de vision d'un utilisateur et formée d'une scène incluse dans ledit champ de vision, l'ensemble comprenant :
- une caméra propre à acquérir des images du champ de vision de l'utilisateur, - un afficheur d'images de réalité mixte,
- un calculateur comprenant un processeur comprenant une unité de traitement de données, et
- un produit programme d'ordinateur tel que décrit précédemment.
D'autres caractéristiques et avantages de l'invention apparaîtront à la lecture de la description qui suit de modes de réalisation de l'invention, donnés à titre d'exemple uniquement et en référence aux dessins qui sont :
- figure 1 , une vue schématique d'un ensemble d'affichage et d'une scène, et
- figure 2, un organigramme d'un exemple d'un procédé d'affichage selon l'invention.
Un ensemble d'affichage 10 et une scène 12 sont illustrés sur la figure 1 . La scène 12 est une scène du monde réel, aussi bien une scène d'intérieur qu'une scène d'extérieur.
L'ensemble 10 comprend un afficheur 14 d'images de réalité mixte, une caméra 15 et un calculateur 16.
L'afficheur 14 et la caméra 15 sont en interaction avec le calculateur 16. Une telle interaction est, par exemple, réalisée par une connexion filaire ou par une connexion sans fil, telle qu'une connexion Wifi ou Bluetooth.
Dans l'exemple illustré sur la figure 1 , l'afficheur 14 et la caméra 15 sont embarqués dans un casque de réalité mixte 17.
Le casque 17 est propre à être positionné sur la tête d'un utilisateur 18.
Le casque 17 est configuré pour immerger l'utilisateur 18 dans une réalité mixte. La caméra 15 est adaptée à la prise d'images en couleurs. La gamme de longueurs d'onde détectée par la caméra 15 correspond, par exemple, au domaine du visible. Le domaine du visible est défini comme la gamme de longueurs d'onde comprise au sens large entre 380 nanomètres (nm) et 780 nm.
La caméra 15 comprend un ou plusieurs capteurs. De tels capteurs sont des composants photosensibles permettant de convertir un rayonnement électromagnétique en un signal électrique analogique. Les composants sont, par exemple, des composants CCD (acronyme de l'anglais Charge-Coupled Device, traduit en français par Dispositif à Transfert de Chargé).
La caméra 15 comprend, également, une ou plusieurs optique. Les optiques sont, par exemple, des lentilles ou des miroirs.
La caméra 15 est, de préférence, une caméra stéréoscopique. Une caméra stéréoscopique est une caméra comprenant deux capteurs optiques propres à acquérir chacun l'image d'une même scène à partir de deux points de vue légèrement distants. Les images acquises par de tels capteurs sont ensuite présentées à l'utilisateur de sorte que l'image de gauche soit vue uniquement par l'œil gauche de l'utilisateur et que l'image de droite soit vue uniquement par l'œil droit de l'utilisateur, ce qui donne un effet de relief.
Dans un mode de réalisation préféré, la caméra 15 présente les caractéristiques du système de prise de vue décrit dans la demande de brevet WO 2016/097609 A.
La caméra 15 est disposée sur le casque 17 de sorte à acquérir des images du champ de vision de l'utilisateur 18. Le champ de vision est défini comme la portion de l'espace vue par un œil regardant droit devant lui et immobile.
La caméra 15 est propre à communiquer les images acquises au calculateur 16. La caméra 15 présente des caractéristiques réelles de prise de vue. Les caractéristiques réelles de prise de vue sont, par exemple, choisies dans la liste constituée : des caractéristiques intrinsèques du ou des capteurs de la caméra 15, des limitations dynamiques du ou des capteurs de la caméra 15, des caractéristiques intrinsèques de la ou des optiques de la caméra 15, des imperfections de la ou des optiques de la caméra 15, des réglages (gain, temps d'exposition, balance des blancs) de la caméra 15 et des changements éventuels de position de la caméra 15 lors de la prise de vue.
Les caractéristiques intrinsèques du ou des capteurs de la caméra 15 sont, par exemple, relatives à la résolution de la caméra 15, au bruit de la caméra 15 et/ou à la fonction de transfert de modulation de la caméra 15.
La résolution de la caméra 15 est le nombre de pixels de chaque capteur de la caméra 15 par unité de longueur. La résolution de la caméra 15 est, par exemple, obtenue directement à partir d'un manuel fourni par le fabriquant de la caméra 15.
Le bruit de la caméra 15 est un bruit aléatoire faisant très légèrement varier l'intensité des pixels de la caméra 15 lorsque la caméra 15 acquiert une scène fixe.
Le bruit de la caméra 15 est, par exemple, quantifié par une calibration. Une telle calibration consiste, par exemple, à acquérir, à éclairage constant, un ensemble d'images avec la caméra 15 et une scène fixe. La scène fixe est préférentiellement une mire colorimétrique, telle qu'une mire colorimétrique de Macbeth pour observer un éventail de couleur suffisamment large. La variation de l'intensité des pixels est ensuite modélisée sous forme d'une distribution gaussienne.
La fonction de transfert de modulation (abrégé par l'acronyme FTM) d'un système optique est une fonction permettant d'évaluer le contraste de l'image obtenue par le système optique en fonction de la fréquence spatiale.
La fonction de transfert de modulation de la caméra 15 est, par exemple, obtenue par calibration à partir de mires optiques à différentes fréquences spatiales.
Les limitations dynamiques du capteur de la caméra 15 sont, par exemple, relatives à l'altération des couleurs entre une scène dans le champ de vision de la caméra 15 et l'image de la scène acquise par la caméra 15, et ce en fonction de l'éclairage et du contraste de la scène.
Une telle altération des couleurs est modélisée à partir d'une fonction, appelée fonction de réponse de la caméra 15. La fonction de réponse de la caméra 15 fait le lien entre la luminance de la scène acquise par la caméra 15 et l'intensité des pixels de l'image acquise par la caméra 15. Une telle fonction est, par exemple, approximée par une calibration radiométrique. Le document de Mitsunaga intitulé « Radiometric self- calibration », publié dans Computer Vision and Pattern Récognition, 1999, IEEE Computer Society Conférence on. (Vol. 1 ) décrit une méthode d'obtention d'une telle fonction.
Les caractéristiques intrinsèques de la ou des optiques de la caméra 15 sont, par exemple, relatives à l'ouverture et à la distance focale image de la caméra 15.
L'ouverture d'un système optique est un nombre sans dimension défini comme le rapport de la distance focale image du système optique par le diamètre de la pupille d'entrée dudit système optique.
L'ouverture de la caméra 15 et la distance focale image de la caméra 15 sont, par exemple, obtenues directement par le manuel fourni par le fabriquant de la caméra 15.
L'ouverture et la distance focale image de la caméra 15 en relation avec les caractéristiques des images acquises par la caméra 15 permettent d'estimer la profondeur de champ et, ainsi, l'effet de flou progressif engendré par la caméra 15. La profondeur de champ de la caméra 15 correspond à la zone de l'espace acquise de manière nette par la caméra 15. Le flou progressif est le flou dû à la profondeur de champ de la caméra 15.
Les imperfections de la ou des optiques de la caméra 15 sont, par exemple, relatives aux aberrations géométriques induites par les optiques de la caméra 15. De telles aberrations géométriques sont, par exemple, des aberrations sphériques, de coma, d'astigmatisme, de courbure de champ ou encore de distorsion.
Les aberrations géométriques sont, par exemple, quantifiées par une calibration de la caméra 15.
La distorsion est, par exemple, calibrée à partir d'une mire rectangulaire de type damier. La détection des coins de chaque damier permet de définir une fonction de distorsion.
Les autres aberrations telles que les aberrations chromatiques sont, par exemple, estimées de manières similaire en séparant les différents canaux de couleur : rouge, vert et bleu d'une image.
Les réglages de la caméra 15 sont, par exemple, relatifs à la saturation de la caméra 15, à la balance des blancs de la caméra 15 et/ou au temps d'exposition de la caméra 15.
La saturation est une coordonnée du système colorimétrique TSL (acronyme de Teinte, Saturation, Luminosité). La saturation fournit une mesure de l'intensité de la couleur identifiée par sa teinte. La luminosité correspond à une mesure de la quantité de lumière.
La saturation de la caméra 15 est, par exemple, déterminée manuellement par l'utilisateur. La balance des blancs est un réglage à effectuer sur une caméra permettant de compenser la température de couleurs, de manière à ce que les zones blanches d'une scène dans le champ de vision de la caméra apparaissent blanches sur l'image de la scène acquise par la caméra.
La balance des blancs de la caméra 15 est déterminée par une mesure ou directement par le manuel fourni par le fabriquant de la caméra 15.
Le temps d'exposition ou temps de pose de la caméra 15 est l'intervalle de temps pendant lequel l'obturateur de la caméra 15 laisse passer la lumière lors d'une prise de vue, et donc la durée de l'exposition des capteurs de la caméra 15 à la lumière.
Le temps d'exposition de la caméra 15 en relation avec les caractéristiques des images acquises par la caméra 15 permet d'estimer l'effet de flou de bougé de la caméra 15. Le flou de bougé de la caméra 15 est le flou produit par le mouvement de la caméra 15 lors de la prise de vue.
Les éventuels changements de position de la caméra 15 lors de la prise de vue sont, par exemple, relatifs à un effet d'obturateur déroulant (en anglais Rolling Shutter).
L'effet d'obturateur déroulant est un mécanisme photographique qui consiste à enregistrer une image par déroulement, c'est-à-dire que les images sont acquises ligne par ligne par scannage. Un tel mécanisme engendre des artéfacts lorsque l'image acquise par la caméra comprend des objets se déplaçant rapidement ou qui sont soumis à des éclairages fluctuant rapidement. De tels artéfacts sont la déformation des objets considérés.
De tels artéfacts sont, par exemple, modélisés en estimant la vitesse de déplacement de la caméra. Une telle estimation est, par exemple, décrite dans le document WO 2015/071458. La vitesse de déplacement est, par exemple, obtenue en utilisant une caméra conforme au système de prise de vue décrit dans la demande de brevet WO 2016/097609 A. La position de la caméra dans l'espace pour chaque image acquise par la caméra est fournie par la caméra. La vitesse entre chaque image est alors déduite à partir des positions prises par la caméra entre deux images successives.
Le calculateur 16 est propre à collecter les images issues de la caméra 15 et à traiter lesdites images pour obtenir des images modifiées. Le calculateur 16 est propre à transmettre les images modifiées à l'afficheur 14 pour l'affichage desdites images.
Le calculateur 16 est, par exemple, un ordinateur.
Le calculateur 16 comprend un processeur 21 comprenant une unité de traitement de données 22, des mémoires 24 et un lecteur 26 de support d'informations. Le calculateur 16 comprend, optionnellement, un dispositif d'entrée 28 tel qu'un clavier ou une manette et une unité d'affichage 30. Le calculateur 16 comporte, en outre, des connexions à un réseau tel que le réseau local permettant à plusieurs utilisateurs de se connecter en réseau.
Le calculateur 16 est en interaction avec un produit programme d'ordinateur 32.
Le produit programme d'ordinateur 32 comporte un support d'informations 34. Le support d'information 34 est un support lisible par le calculateur 16, usuellement par l'unité de traitement de données 22.
Le support lisible d'informations 34 est un médium adapté à mémoriser des instructions électroniques et capable d'être couplé à un bus d'un système informatique.
A titre d'exemple, le support d'informations est une disquette ou disque souple (de la dénomination anglaise Floppy dise), un disque optique, un CD-ROM, un disque magnéto-optique, une mémoire ROM, une mémoire RAM, une mémoire EPROM, une mémoire EEPROM, une carte magnétique ou une carte optique.
Sur le support d'informations est mémorisé le programme d'ordinateur comprenant des instructions de programme.
Le programme d'ordinateur est chargeable sur l'unité de traitement de données 22 et est adapté pour entraîner la mise en œuvre d'un procédé d'affichage qui sera décrit plus en détails dans la suite de la description.
Dans le mode de réalisation illustré sur la figure 1 , le calculateur 16 est dissocié du casque 17.
En variante, le calculateur 16 est embarqué dans le casque 17.
Un procédé d'affichage d'une image de réalité mixte utilisant l'ensemble d'affichage 10 va maintenant être décrit en référence à la figure 2.
Le procédé d'affichage comprend une étape 100 de fourniture de l'ensemble d'affichage 10 décrit précédemment.
Le procédé d'affichage comprend, également, une étape 1 10 d'acquisition d'une première image par la caméra 15 selon les caractéristiques réelles de prise de vue de la caméra 15.
La première image est une image d'une scène incluse dans le champ de vision de l'utilisateur 18. La scène comprend des éléments réels. Les éléments réels comprennent au moins une source de lumière.
Lorsque la caméra 15 est une caméra stéréoscopique, la première image est une image stéréoscopique. La première image est alors formée d'une première image gauche et d'une première image droite.
Le procédé d'affichage comprend une étape 120 d'extraction, à partir de la première image, de caractéristiques réelles d'éclairement et de position des éléments réels. L'étape d'extraction est réalisée par le calculateur 16 en interaction avec le produit programme d'ordinateur 32.
Les caractéristiques d'éclairement sont relatives à au moins l'un de la position, de l'intensité ou de la direction de propagation des sources de lumière de la scène de la première image.
La position et l'intensité des sources de lumière de la scène sont, par exemple, obtenues au moyen d'un procédé tel que décrit dans l'article de Meilland et al. intitulé. "3D High Dynamic Range Dense Visual SLAM and its application to Real-Time Object Re- lighting." publié dans Mixed and Augmented Reality (ISMAR), 2013 IEEE International Symposium on. IEEE, 2013.
En complément, la position et l'intensité des sources de lumière de la scène sont identifiées à partir d'images de la scène acquises à des temps d'exposition très faible et connus précisément. Plus précisément, en baissant l'exposition de la caméra 15, seuls les points forts des sources lumineuses sont conservés et l'éclairage ambiant dû aux réflexions des rayons lumineux sur des surfaces plus ou moins réfléchissantes de la scène réelle est supprimé. Les images sont, ensuite, mises sous forme binaire, ce qui permet d'isoler les sources lumineuses. La position des sources lumineuses par rapport à la caméra 15 est déterminée par la carte de profondeur fournissant la position en trois dimensions de chaque pixel. La position dans l'espace relative à un repère global commun (position de la caméra initiale) est ensuite déterminée par calcul de la position de la caméra courante.
En variante, pour une scène pour laquelle l'éclairage est constant, les positions des sources de lumière de la scène sont identifiées en cartographiant les sources lumineuses de façon dynamique ou a priori. Une telle variante implique de retrouver un repère d'origine relatif, lorsque la caméra ne dispose pas de système de positionnement absolu de type GPS (acronyme de l'anglais Global Positioning System traduit en français par Système mondial de positionnement).
Les caractéristiques de position sont relatives à la position des éléments réels dans la scène de la première image.
Par exemple, l'étape d'extraction 120 permet d'obtenir une carte de profondeur.
Une carte de profondeur est une carte représentant la scène acquise par la caméra avec des niveaux de gris ou de couleurs, chaque niveau de gris ou de couleur correspondant à une distance entre un élément de la scène et la caméra 15. La carte de profondeur est, par exemple, obtenue directement via la caméra 15 lors de l'acquisition de la première image. De préférence, la carte de profondeur et les positions des sources de lumière sont enregistrées dans une base de données afin de permettre de retrouver une position dans l'espace précédemment visualisé par la caméra en pointant la caméra vers la même scène.
Le procédé d'affichage comprend, également, une étape 130 de sélection d'éléments virtuels à intégrer dans la première image.
Chaque élément virtuel est associé à des caractéristiques virtuelles de prise de vue et d'éclairement.
Les éléments à intégrer sont, par exemple, des personnages virtuels ou encore des objets virtuels statiques ou en mouvement.
L'étape de sélection est mise en œuvre par l'utilisateur 18. Par exemple, l'utilisateur 18 choisit les éléments virtuels à intégrer parmi une liste d'éléments virtuels en fonction de l'usage que ledit utilisateur 18 fait du casque de réalité mixte 17. Par exemple, dans le cas d'un jeu vidéo, l'utilisateur 18 lance l'application correspondant au jeu vidéo et les éléments virtuels correspondants au jeu vidéo sont automatiquement sélectionnés par le calculateur 16.
En variante, l'étape de sélection est uniquement effectuée par le calculateur 16.
Le procédé d'affichage comprend une étape 140 de modification des éléments virtuels en fonction des caractéristiques réelles de prise de vue, d'éclairement et de position. L'étape de modification 140 est réalisée par le calculateur 16 en interaction avec le produit programme d'ordinateur 32.
L'étape de modification 140 comprend la modélisation d'une caméra virtuelle à partir des caractéristiques de prise de vue et la modification des éléments virtuels à intégrer pour que les éléments virtuels modifiés correspondent aux images des éléments virtuels qui auraient été obtenues à partir de la caméra virtuelle. En pratique, cela revient à traiter directement les éléments virtuels à intégrer avec les artéfacts introduits par la caméra virtuelle.
La caméra virtuelle présente un ou plusieurs capteurs virtuels et une ou plusieurs optiques virtuelles. La caméra virtuelle présente, également, des caractéristiques virtuelles de prise de vue identiques aux caractéristiques réelles de prise de vue de la caméra 15.
Plus précisément, lorsque les caractéristiques réelles de prise de vue sont des caractéristiques intrinsèques du ou des capteurs de la caméra 15, le ou les capteurs virtuels de la caméra virtuelle présentent les mêmes caractéristiques intrinsèques. Par exemple, la caméra virtuelle est une caméra ayant la même résolution que la caméra 15. Ainsi, la résolution des éléments virtuels modifiés est limitée à la résolution de la caméra 15.
Par exemple, les images générées par la caméra virtuelle comporte le même bruit que la caméra 15. Les éléments virtuels modifiés présentent alors un tel bruit.
Par exemple, la caméra virtuelle présente la même fonction de transfert de modulation que la caméra 15.
En pratique, cela revient à modifier le rendu des éléments virtuels à intégrer de sorte à reproduire les effets engendrés par les limitations de la caméra 15 à capter le contraste en fonction de la finesse des détails. Un tel traitement est, par exemple, obtenu en réduisant la taille des images des éléments virtuels, puis en appliquant des filtres, tels que des filtres gaussiens auxdites images obtenues. Ensuite, les images des éléments sont ré-agrandies jusqu'à leur tailles d'origine et des filtres, notamment un filtre de Bayer, sont appliqués sur lesdites images.
En complément, un flou supplémentaire est appliqué sur les bords des éléments virtuels à intégrer. Pour cela, un filtre gaussien est appliqué sur le masque de la géométrie des éléments virtuels, pour obtenir un dégradé (les valeurs du masque étant convertie de binaire aux flottants entre 0 et 1 ). Le masque de la géométrie des éléments virtuels est une image binaire pour laquelle les intensités valent 0 pour les pixels représentant un élément réel et valent 1 pour les pixels représentant un élément virtuel. En post-traitement, les contours des éléments virtuels sont fusionnés avec l'image réelle de façon progressive en utilisant un masque avec un seuil. Le seuil du masque permet de régler la propagation du flou autour des éléments virtuels pour éviter un effet de halo.
L'application d'un tel flou supplémentaire permet de retranscrire sur les éléments virtuels à intégrer le fait que la caméra 15 atténue les hautes fréquences et donc que l'image réelle acquise a des contours moins nets que l'image des éléments virtuels. Lorsqu'un tel flou n'est pas appliqué sur les éléments virtuels à intégrer, les éléments virtuels à intégrer, qui sont par défaut parfaitement nets, se démarquent significativement de l'image réelle.
Lorsque les caractéristiques réelles de prise de vue sont les limitations dynamiques du ou des capteurs de la caméra 15, le ou les capteurs virtuels de la caméra virtuelle présentent les mêmes limitations dynamiques.
Par exemple, la fonction de réponse est appliquée aux éléments virtuels à intégrer de sorte à reproduire sur les éléments virtuels à intégrer l'altération des couleurs de la première image. Lorsque les caractéristiques réelles de prise de vue sont les caractéristiques intrinsèques de la ou des optiques de la caméra 15, la ou les optiques virtuelles de la caméra virtuelle présentent les mêmes caractéristiques intrinsèques.
Par exemple, l'ouverture de la caméra virtuelle et la distance focale image de la caméra virtuelle sont identiques à l'ouverture de la caméra 15 et à la distance focale image de la caméra 15.
En outre, l'ouverture de la caméra 15, la distance focale image de la caméra 15 et la carte de profondeur de la scène de la première image permettent de déterminer un effet de flou progressif du à la profondeur de champ de la caméra 15. La profondeur de champ s'étend de la moitié de la distance hyperfocale à l'infini. La distance hyperfocale est la distance minimum à partir de laquelle il est possible de faire la mise au point tout en gardant les objets situés à l'infini avec une netteté acceptable. La mise au point à cette distance permet d'obtenir la plus grande plage de netteté acceptable qui s'étend alors de la moitié de cette distance à l'infini. L'effet de flou progressif se manifeste dans la zone au-delà de la zone de netteté définie par la distance hyperfocale.
La caméra virtuelle est alors configurée pour reproduire un tel effet de flou progressif. Ainsi, un tel effet de flou progressif est présent sur les éléments virtuels modifiés.
Lorsque les caractéristiques réelles de prise de vue sont les imperfections de la ou des optiques de la caméra 15, le ou les capteurs optiques de la caméra virtuelle présentent les mêmes imperfections.
Par exemple, la caméra virtuelle reproduit les aberrations géométriques de la caméra 15. Ainsi, de telles aberrations géométriques sont présentes sur les éléments virtuels modifiés.
En variante, les aberrations géométriques sont directement supprimées de la première image et ne sont donc pas modélisées sur la caméra virtuelle.
Lorsque les caractéristiques réelles de prise de vue sont les réglages de la caméra 15, la caméra virtuelle présente les mêmes réglages que la caméra 15.
Par exemple, la caméra virtuelle présente la même saturation que la caméra 15. Ainsi la saturation des couleurs des éléments virtuels modifiés est conforme à la saturation des couleurs de la caméra 15.
Par exemple, la caméra virtuelle présente la même balance des blancs que la caméra 15. Ainsi, le rendu des éléments virtuels modifiés est conforme à la balance des blancs de la caméra 15.
Par exemple, la caméra virtuelle présente le même temps d'exposition que la caméra 15. En outre, le temps d'exposition de la caméra 15 et la position de la caméra 15 permettent de déduire l'accélération de la caméra 15 et de déterminer, ainsi, l'effet de flou de bougé de la caméra 15. La caméra virtuelle est alors configurée pour reproduire un tel effet de flou de bougé. Ainsi, un tel effet de flou de bougé est présent sur les éléments virtuels modifiés.
Lorsque les caractéristiques réelles de prise de vue sont les changements de position de la caméra 15 lors de la prise de vue, la caméra virtuelle présente les mêmes changements de position que la caméra 15.
En outre, la caméra virtuelle reproduit les artéfacts dus à l'effet d'obturateur déroulant de la caméra 15. Ainsi, de tels artéfacts sont présents sur les éléments virtuels modifiés.
En variante, de tels artéfacts sont directement supprimés de la première image et ne sont donc pas modélisés sur la caméra virtuelle.
L'étape de modification 140 comprend, en outre, la modification de l'apparence des éléments virtuels à intégrer en fonction des caractéristiques réelles d'éclairement et de position.
Par exemple, une telle modification d'apparence consiste à appliquer des effets d'éclairage sur les éléments virtuels modifiés. Les effets d'éclairage sont, par exemple, la projection d'ombres depuis les éléments à intégrer vers des éléments de la première image ou inversement, ou encore la modification de l'éclairage des textures des éléments virtuels (modifiant l'intensité lumineuse mais aussi la teinte desdits éléments virtuels).
La prise en compte des caractéristiques réelles d'éclairement et de position permet de rendre cohérents avec la première image les modifications de l'apparence des éléments virtuels à intégrer.
Le procédé d'affichage comprend une étape 150 d'intégration des éléments virtuels modifiés dans la première image pour obtenir une deuxième image. La deuxième image est une image de réalité mixte.
L'étape d'intégration 150 est réalisée par le calculateur 16 en interaction avec le produit programme d'ordinateur 32.
Lorsque la première image est une image stéréoscopique, la deuxième image est également une image stéréoscopique. La deuxième image est alors formée d'une deuxième image gauche et d'une deuxième image droite.
L'étape d'intégration 150 comprend alors l'intégration des éléments modifiés sur l'une de la première image gauche ou de la première image droite prise comme image de référence pour obtenir la deuxième image gauche, respectivement la deuxième image droite. Par exemple, la caméra virtuelle fournissant le rendu de l'image gauche subit une transformation pour obtenir la position de la caméra virtuelle droite. La transformation permet de décaler les éléments virtuels de la deuxième image prise comme référence d'une distance légèrement différente pour obtenir un effet de parallaxe. Une telle transformation se fait en modifiant la position de la caméra virtuelle droite d'une distance égale à la séparation entre les deux capteurs de la caméra réelle stéréoscopique.
Les caractéristiques virtuelles de prise de vue des éléments virtuels sont, de préférence, identiques aux caractéristiques réelles de prise de vue correspondantes. De même, les caractéristiques virtuelles d'éclairement sont, de préférence, identiques aux caractéristiques réelles d'éclairement correspondantes.
Le procédé d'affichage comprend une étape 160 d'affichage de la deuxième image dans le champ de vision de l'utilisateur. Typiquement, la deuxième image est affichée sur l'afficheur 14.
Lorsque la deuxième image est une image stéréoscopique, la deuxième image gauche est affichée sur l'afficheur 14 devant l'œil gauche de l'utilisateur et la deuxième image droite est affichée sur l'afficheur 14 devant l'œil droit de l'utilisateur.
En variante, l'homme du métier comprendra que la deuxième image est affichée sur tout autre afficheur, tel qu'un écran, dans le champ de vision de l'utilisateur.
Les étapes d'acquisition 1 10, d'extraction 120, de sélection 130, de modification 140, d'intégration 150, d'affichage 160 sont réitérées au cours du temps.
Ainsi, le procédé utilise les caractéristiques de la caméra 15 et d'éclairage réels obtenus par calibration ou mesure afin de modéliser une caméra virtuelle identique présentant les mêmes caractéristiques de prise de vue que la caméra 15. Le rendu obtenu par une telle caméra virtuelle est alors fusionné de manière cohérente et photoréaliste dans l'image capturée par la caméra réelle.
En outre, les deuxièmes images sont restituées en temps réel à l'utilisateur, ce qui augmente la sensation de réalisme.
Un tel procédé d'affichage améliore donc le rendu d'images de réalité mixte obtenues par l'intégration d'éléments virtuels dans des images du monde réel.

Claims

REVENDICATIONS
1 . - Procédé d'affichage d'une image de réalité mixte, l'image de réalité mixte étant associée à un champ de vision d'un utilisateur acquis par une caméra et formée d'une scène incluse dans ledit champ de vision, le procédé comprenant les étapes de :
- fourniture d'un ensemble d'affichage (10) comprenant une caméra (15) propre à acquérir des images du champ de vision de l'utilisateur et un afficheur (14) d'images de réalité mixte,
- acquisition d'une première image par la caméra (15) selon des caractéristiques réelles de prise de vue, la première image étant une image de la scène dans le champ de vision de l'utilisateur, la scène comprenant des éléments réels,
- extraction, à partir de la première image, de caractéristiques réelles d'éclairement et de position des éléments réels,
- sélection d'éléments virtuels à intégrer dans la première image,
- modification des éléments virtuels en fonction des caractéristiques réelles de prise de vue, d'éclairement et de position,
- intégration des éléments virtuels modifiés dans la première image pour obtenir une deuxième image, la deuxième image étant une image de réalité mixte, et
- affichage de la deuxième image sur l'afficheur (14).
2. - Procédé selon la revendication 1 , dans lequel chaque élément virtuel est associé à des caractéristiques virtuelles de prise de vue et d'éclairement, les éléments virtuels intégrés dans la deuxième image ayant au moins une caractéristique virtuelle de prise de vue identique à une caractéristique réelle de prise de vue correspondante ou au moins une caractéristique virtuelle d'éclairement identique à une caractéristique réelle d'éclairement correspondante.
3. - Procédé selon la revendication 1 ou 2, dans lequel l'étape de modification comprend la modélisation d'une caméra virtuelle à partir des caractéristiques de prise de vue, l'étape de modification comprenant la modification des éléments virtuels à intégrer pour que les éléments virtuels modifiés correspondent aux images des éléments virtuels qui auraient été obtenues à partir de la caméra virtuelle.
4. - Procédé selon l'une quelconque des revendications 1 à 3, dans lequel la caméra (15) comprend au moins un capteur et au moins une optique, le capteur présentant des caractéristiques intrinsèques et des limitations dynamiques, les optiques présentant des caractéristiques intrinsèques et des imperfections, la caméra (15) présentant des réglages et étant susceptible d'être changée de position lors de la prise de vue, les caractéristiques de prise de vue étant choisies dans la liste constituée : des caractéristiques intrinsèques du capteur de la caméra (15), des limitations dynamiques du capteur de la caméra (15), des caractéristiques intrinsèques de l'optique de la caméra (15), des imperfections de l'optique de la caméra (15), des réglages de la caméra (15) et des changements éventuels de position de la caméra (15) lors de la prise de vue.
5. - Procédé selon l'une quelconque des revendications 1 à 4, dans lequel les éléments réels comprennent au moins une source de lumière, les caractéristiques d'éclairement étant relatives à au moins l'un de la position ou de l'intensité de ladite source de lumière.
6. - Procédé selon l'une quelconque des revendications 1 à 5, dans lequel l'étape de modification comprend la modification de l'apparence des éléments virtuels en appliquant des effets d'éclairage sur les éléments virtuels en fonction des caractéristiques d'éclairement et de position.
7. - Procédé selon l'une quelconque des revendications 1 à 6, dans lequel la caméra (15) est une caméra stéréoscopique, la première image étant une image stéréoscopique, la première image étant formée d'une première image gauche et d'une première image droite, l'étape d'intégration comprenant l'intégration des éléments modifiés dans l'une de la première image gauche ou de la première image droite prise comme image de référence pour obtenir une deuxième image gauche, respectivement une deuxième image droite, l'étape d'intégration comprenant également l'application d'une transformation à la deuxième image gauche, respectivement la deuxième image droite, obtenue pour obtenir une deuxième image droite, respectivement une deuxième image gauche, la deuxième image étant une image stéréoscopique formée de la deuxième image gauche et de la deuxième image droite.
8. - Procédé selon l'une quelconque des revendications 1 à 7, dans lequel l'étape de sélection est mise en œuvre par l'utilisateur.
9. - Produit programme d'ordinateur (32) comportant un support lisible d'informations, sur lequel est mémorisé un programme d'ordinateur comprenant des instructions de programme, le programme d'ordinateur étant chargeable sur une unité de traitement de données (22) et adapté pour entraîner la mise en œuvre d'un procédé d'affichage selon l'une quelconque des revendications 1 à 8 lorsque le programme d'ordinateur est mis en œuvre sur l'unité de traitement des données (22).
10.- Ensemble (10) d'affichage d'une image de réalité mixte, l'image de réalité mixte étant associée à un champ de vision d'un utilisateur et formée d'une scène incluse dans ledit champ de vision, l'ensemble (10) comprenant :
- une caméra (15) propre à acquérir des images du champ de vision de l'utilisateur,
- un afficheur (14) d'images de réalité mixte,
- un calculateur (16) comprenant un processeur (21 ) comprenant une unité de traitement de données (22), et
- un produit programme d'ordinateur (32) selon la revendication 9.
PCT/EP2017/077912 2016-11-04 2017-10-31 Procédé d'affichage d'une image de réalité mixte WO2018083099A1 (fr)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US16/347,462 US11062518B2 (en) 2016-11-04 2017-10-31 Method for displaying a mixed reality image

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR1660714 2016-11-04
FR1660714A FR3058549B1 (fr) 2016-11-04 2016-11-04 Procede d'affichage d'une image de realite mixte

Publications (1)

Publication Number Publication Date
WO2018083099A1 true WO2018083099A1 (fr) 2018-05-11

Family

ID=58314360

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2017/077912 WO2018083099A1 (fr) 2016-11-04 2017-10-31 Procédé d'affichage d'une image de réalité mixte

Country Status (3)

Country Link
US (1) US11062518B2 (fr)
FR (1) FR3058549B1 (fr)
WO (1) WO2018083099A1 (fr)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11783515B2 (en) 2019-11-18 2023-10-10 Elbit Systems Ltd. System and method for mixed reality

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1732042A1 (fr) * 2005-06-08 2006-12-13 Decopole Procédé et système d'élaboration de caractéristiques géométriques d'une image encodée numériquement
EP2395767A1 (fr) * 2010-06-11 2011-12-14 Nintendo Co., Ltd. Programme d'affichage d'images, système d'affichage d'images et procédé d'affichage d'images
WO2015071458A1 (fr) 2013-11-18 2015-05-21 Universite De Nice (Uns) Procede d'estimation de la vitesse de deplacement d'une camera
WO2016097609A1 (fr) 2014-12-19 2016-06-23 Stereolabs Système pour la prise de vue en trois dimensions au cours d'un déplacement

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8897546B2 (en) * 2011-09-29 2014-11-25 Texas Instruments Incorporated Semi-global stereo correspondence processing with lossless image decomposition
US9070216B2 (en) * 2011-12-14 2015-06-30 The Board Of Trustees Of The University Of Illinois Four-dimensional augmented reality models for interactive visualization and automated construction progress monitoring
US9336629B2 (en) * 2013-01-30 2016-05-10 F3 & Associates, Inc. Coordinate geometry augmented reality process
US9679414B2 (en) * 2013-03-01 2017-06-13 Apple Inc. Federated mobile device positioning
WO2015095737A2 (fr) * 2013-12-19 2015-06-25 The University Of North Carolina At Chapel Hill Affichage près de l'œil à transparence optique utilisant un rétroéclairage de source lumineuse ponctuelle

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1732042A1 (fr) * 2005-06-08 2006-12-13 Decopole Procédé et système d'élaboration de caractéristiques géométriques d'une image encodée numériquement
EP2395767A1 (fr) * 2010-06-11 2011-12-14 Nintendo Co., Ltd. Programme d'affichage d'images, système d'affichage d'images et procédé d'affichage d'images
WO2015071458A1 (fr) 2013-11-18 2015-05-21 Universite De Nice (Uns) Procede d'estimation de la vitesse de deplacement d'une camera
WO2016097609A1 (fr) 2014-12-19 2016-06-23 Stereolabs Système pour la prise de vue en trois dimensions au cours d'un déplacement

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
MEILLAND ET AL.: "Mixed and Augmented Reality (ISMAR), 2013 IEEE International Symposium on", 2013, IEEE, article "3D High Dynamic Range Dense Visual SLAM and its application to Real-Time Object Re-lighting"
MITSUNAGA: "Radiometric self-calibration", COMPUTER VISION AND PATTERN RÉCOGNITION, 1999, IEEE COMPUTER SOCIETY CONFÉRENCE ON, vol. 1

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11783515B2 (en) 2019-11-18 2023-10-10 Elbit Systems Ltd. System and method for mixed reality

Also Published As

Publication number Publication date
US11062518B2 (en) 2021-07-13
US20200151957A1 (en) 2020-05-14
FR3058549A1 (fr) 2018-05-11
FR3058549B1 (fr) 2019-01-25

Similar Documents

Publication Publication Date Title
US11877086B2 (en) Method and system for generating at least one image of a real environment
JP6724045B2 (ja) 畳み込み色補正
CA2834963C (fr) Procede pour commander une action, notamment une modification de nettete, a partir d'une image numerique en couleurs
US20190102872A1 (en) Glare Reduction in Captured Images
US11893701B2 (en) Method for simulating natural perception in virtual and augmented reality scenes
FR3053509A1 (fr) Procede d’occultation d’un objet dans une image ou une video et procede de realite augmentee associe
GB2454096A (en) Detecting Light Source Direction from Single Image
CN114616587A (zh) 基于学习的镜头眩光移除
Kuciš et al. Simulation of camera features
WO2018083099A1 (fr) Procédé d'affichage d'une image de réalité mixte
US20230033956A1 (en) Estimating depth based on iris size
WO2020007981A1 (fr) Procede et dispositif d'affichage de donnees sonar ou radar a haute dynamique
Lin et al. Learning lens blur fields
EP1847958B1 (fr) Segmentation d'image numérique d'une zone d'observation en temps réel
Shoshin et al. Veiling glare removal: synthetic dataset generation, metrics and neural network architecture
JP2012104879A (ja) 画像撮像装置、画像表示装置、画像処理方法、画像処理プログラム、および画像撮像表示装置
WO2020084894A1 (fr) Système à caméras multiples, procédé de calcul de valeur de commande et dispositif de commande
Tao Unified Multi-Cue Depth Estimation from Light-Field Images: Correspondence, Defocus, Shading, and Specularity
TWI605418B (zh) 影像編輯方法以及影像處理裝置
JP2013026793A (ja) 画像処理装置、及び画像処理プログラム
Han et al. Virtual out of focus with single image to enhance 3D perception
CN111164647B (en) Estimating depth using a single camera
CA3216150A1 (fr) Procede de simulation de produits optiques
FR3129759A1 (fr) Procédé d’aide au positionnement d’un objet par rapport à une zone cible d’une matrice de pixels d’une caméra, dispositif et programme d’ordinateur correspondants
EP4165591A1 (fr) Correction d'un halo dans une image numérique et dispositif de mise en oeuvre de cette correction

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17797589

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 02.08.2019)

122 Ep: pct application non-entry in european phase

Ref document number: 17797589

Country of ref document: EP

Kind code of ref document: A1