WO2021136895A1 - Synthese iterative de vues a partir de donnees d'une video multi-vues - Google Patents

Synthese iterative de vues a partir de donnees d'une video multi-vues Download PDF

Info

Publication number
WO2021136895A1
WO2021136895A1 PCT/FR2020/052454 FR2020052454W WO2021136895A1 WO 2021136895 A1 WO2021136895 A1 WO 2021136895A1 FR 2020052454 W FR2020052454 W FR 2020052454W WO 2021136895 A1 WO2021136895 A1 WO 2021136895A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
view
data
synthesis
synthesized
Prior art date
Application number
PCT/FR2020/052454
Other languages
English (en)
Inventor
Joël JUNG
Original Assignee
Orange
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Orange filed Critical Orange
Priority to US17/790,301 priority Critical patent/US20230053005A1/en
Priority to EP20845681.4A priority patent/EP4085613A1/fr
Publication of WO2021136895A1 publication Critical patent/WO2021136895A1/fr

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/536—Depth or shape recovery from perspective effects, e.g. by using vanishing points
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/349—Multi-view displays for displaying three or more geometrical viewpoints without viewer tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Definitions

  • the present invention relates generally to the field of image synthesis.
  • the present invention applies more particularly to the synthesis of uncaptured intermediate points of view, from images of several 2D (two-dimensional), 360 °, 180 °, etc. views which are captured to generate an immersive video. , such as in particular a 360 ° video, 180 °, etc.
  • the invention can in particular, but not exclusively, be applied to video decoding implemented in current video decoders HEVC (English abbreviation for "High Efficiency Video Coding") and its extensions MV-HEVC (English abbreviation for "Multiview HEVC” ), 3D-HEVC, etc.
  • the scene is conventionally captured by a set of cameras.
  • These cameras can be:
  • the images of such captured views are traditionally encoded and then decoded by the viewer's terminal. However, in order to provide a sufficient quality of experience, and therefore visual quality and good immersion, displaying the captured views is insufficient.
  • the images of a multitude of views, called intermediate views, must be calculated from the images of the decoded views.
  • a synthesis algorithm is capable, from images of N views, with N> 1, of synthesizing an image from an intermediate point of view located anywhere in space.
  • the image of a view considered among N includes a texture component and a depth map which indicates the distance separating the different elements of the scene of the camera that captured the image of this view.
  • the image of an intermediate view obtained by synthesis also comprises a texture component synthesized from the N texture components of the images of the N views.
  • the depth map is either captured or calculated from the N texture components.
  • such a depth map may contain numerous errors which are either linked to the capture, or linked to the calculation, or linked to the compression of the images of the N views.
  • an object of the present invention relates to a method for synthesizing an image of a view from data from a multi-view video, implemented in an image synthesis device.
  • Such a method comprises an image processing phase as follows:
  • the synthesis method according to the invention makes it possible to optimize a compromise - visual quality / computational complexity - since the step of generating image synthesis data does not necessarily use all the texture data of one. image of a video view.
  • Another advantage of the iterative synthesis method according to the invention opens up the prospects of a scalability in complexity, in the case where a terminal which requires the display of the image of a synthesized view does not allow the display. of this image with high resolution or high quality.
  • an image of a view used to generate the summary data is selected as a function of the result of the analysis of the image of the synthesized view modified during a phase processing preceding the current iteration.
  • Such a selection being conditioned on the result of a previous analysis of the image of the synthesized view, it is thus possible to use at each new step of generation of synthesis data at least one image of a view of the multi-video. -views which are as relevant as possible to complete / refine the image synthesis carried out during one or more previous processing phase (s).
  • the generation of the summary data uses the summary data generated during a processing phase preceding the current iteration.
  • the generation of synthesis data comprises a modification of the synthesis data generated during a processing phase preceding the current iteration, from texture data used in the process. current iteration.
  • Such an embodiment advantageously makes it possible to refine the summary data generated during one or more processing phases preceding the current iteration, by taking into account one or more new view (s) considered.
  • the summary data generated during the current iteration are combined with summary data generated during a processing phase preceding the current iteration.
  • Such an embodiment advantageously makes it possible to obtain, at the current iteration, the image of a synthesized view which contains fewer and fewer occlusion zones.
  • the visual quality of the synthesized image is thus improved over the course of the iterations.
  • the summary data generated during a processing phase belong to the group comprising:
  • the synthesis data generated during a processing phase are associated with an uncertainty value on the correlation of said synthesis data with the corresponding texture data of said at least one image of said. réelle which were used to generate said summary data.
  • the generation of synthesis data uses at least one depth image of a view of the multi-view video and / or at least one item of information associated with the. multi-view video.
  • the generation of synthesis data advantageously uses data other than texture data of at least one image of a view of the multi-view video. It may be depth data which complements the texture data to enrich the step of generating summary data. In addition to these depth data or alternatively to them, it may be at least one item of information associated with the multi-view video. Such information is representative of a difference or a correlation between the views of the multi-view video (camera parameters, occlusion map, difference in decoding modes, etc.).
  • the modification of the image of the summary view calculated in a previous iteration uses summary data generated previously in the current iteration.
  • a synthesized image calculated during a processing phase preceding the current iteration is used in addition synthesis data generated in the current iteration and of said at least one image of a view of the multi-view video, to modify the synthesized image calculated in the previous iteration.
  • the modification of the image of the synthesized view calculated at a previous iteration comprises the calculation of an image of a synthesized view from said synthesis data generated at l 'current iteration and of the image of said synthesized view calculated at said previous iteration.
  • the image of the view synthesized in the previous iteration is used as an input parameter of the step of modifying the image of the synthesized view previously calculated, thus coming in addition to the synthesis data generated at the current iteration and of the image of at least one view of the multi-view video which are used as input to this step.
  • the image of the synthesized view calculated at the current iteration thus presents an optimized visual quality.
  • the modification of the image of the synthesized view calculated in a previous iteration comprises the following:
  • the image of the view synthesized in the previous iteration is used once the image of the synthesized view has been obtained in the current iteration, by being combined / merged with it, in a way to completely or partially complete the occlusion zones still present in the image synthesized at the current iteration.
  • the current iteration is implemented in response to a message from the synthesis device, such a message containing: either location information of one or more zones / of one or more pixels the image of the synthesized view calculated previously at the current iteration, which does not meet the synthesis performance criterion,
  • Such an embodiment makes it possible to make the synthesis method interactive by iterating an image processing phase in response to a message containing explicit information serving to guide the synthesis device in the choice of the parameters to be considered in order to implement the process. current processing phase.
  • the image of a synthesized view can be gradually improved from one iteration to the next, on the basis of parameters chosen according to the result of the analysis of the previously synthesized images.
  • the current iteration is also implemented in response to the reception of uncertainty values associated with the summary data generated in the previous iteration.
  • Such an embodiment makes it possible to accompany the message sent to restart a current iteration by uncertainty values associated with the summary data generated in the previous iteration, to even better guide the choice of the parameters to be considered for implementing the processing phase at the current iteration.
  • the various aforementioned embodiments or characteristics can be added independently or in combination with one another, to the synthesis process defined above.
  • the invention also relates to a device for synthesizing an image of a view from multi-view video data, said device comprising a processor which is configured to implement the following:
  • the invention also relates to a method for decoding a coded data signal of a multi-view video, implemented in an image decoding device, comprising the following: - decoding images of several coded views, producing a set of images of several decoded views,
  • the synthesis data is generated from texture data of at least one of the decoded images of said set.
  • the summary data does not need to be transmitted, which allows a significant reduction in the signaling cost of the encoded data.
  • the summary data being coded beforehand, they are generated as follows:
  • the invention also relates to a computer program comprising instructions for implementing the synthesis method according to the invention or the decoding method integrating the synthesis method according to the invention, according to any one particular embodiments described above, when said program is executed by a processor.
  • Such instructions can be stored durably in a non-transient memory medium of the synthesis device implementing the aforementioned synthesis method or of the decoder implementing the aforementioned decoding method.
  • This program can use any programming language, and be in the form of source code, object code, or intermediate code between source code and object code, such as in a partially compiled form, or in any other. desirable shape.
  • the invention also relates to a recording medium or information medium readable by a computer, and comprising instructions of a computer program as mentioned above.
  • the recording medium can be any entity or device capable of storing the program.
  • the medium may comprise a storage means, such as a ROM, for example a CD ROM or a microelectronic circuit ROM, or else a magnetic recording means, for example a USB key or a hard disk.
  • the recording medium can be a transmissible medium such as an electrical or optical signal, which can be conveyed via an electrical or optical cable, by radio or by other means.
  • the program according to the invention can in particular be downloaded from an Internet type network.
  • the recording medium can be an integrated circuit in which the program is incorporated, the circuit being adapted to execute or to be used in the execution of the aforementioned synthesis method or of the aforementioned decoding method.
  • FIG. 1 represents the progress of an iterative image synthesis process, in a particular embodiment of the invention
  • FIG. 2 represents a synthesis device implementing the synthesis method of FIG. 1
  • FIG. 3A represents an arrangement of the synthesis device of FIG. 2, in a particular embodiment of the invention
  • FIG. 3B represents an arrangement of the synthesis device of FIG. 2, in another particular embodiment of the invention.
  • FIG. 4A represents an example of synthesis and image data of a synthesized view obtained during the implementation of a first phase of image processing of the synthesis method of FIG. 1,
  • FIG. 4B represents an example of synthesis and image data of a synthesized view obtained during the implementation of an iteration of the image processing phase of FIG. 4A,
  • FIG. 5A represents a step of generating summary data, in a particular embodiment of the invention.
  • FIG. 5B represents a step of generating summary data, in another particular embodiment of the invention.
  • FIG. 6A represents a way of generating synthesis data during the implementation of an iteration of an image processing phase of the synthesis method of FIG. 1, in a particular embodiment of the FIG. 'invention,
  • FIG. 6B represents a way of generating synthesis data during the implementation of an iteration of an image processing phase of the synthesis method of FIG. 1, in another particular embodiment of invention,
  • FIG. 6C represents a way of generating synthesis data during the implementation of an iteration of an image processing phase of the synthesis method of FIG. 1, in yet another particular embodiment of the invention,
  • FIG. 7A represents a way of calculating a synthesized image during the implementation of an iteration of an image processing phase of the synthesis method of FIG. 1, in a particular embodiment of the invention
  • FIG. 7B represents a way of calculating a synthesized image during the implementation of an iteration of an image processing phase of the synthesis method of FIG. 1, in another particular embodiment of the 'invention. Detailed description of an embodiment of the invention
  • the following describes the implementation of an iterative image synthesis method according to one embodiment of the invention, which uses images from a plurality of views Vi to VN d 'a multi-view video (N> 1), representing a 3D scene respectively according to a plurality of viewing angles or a plurality of positions / orientations.
  • Such images are images which have been reconstructed by a decoder, prior to the implementation of the iterative synthesis method.
  • the actions executed by the synthesis method are implemented by computer program instructions.
  • the synthesis device SYNT has the conventional architecture of a computer and comprises in particular a MEM_S memory, a processing unit UT_S, equipped for example with a PROC_S processor, and controlled by a stored computer program PG_S in MEM_S memory.
  • the computer program PG_S comprises instructions for implementing the actions of the synthesis method as described above, when the program is executed by the processor PROC_S.
  • the code instructions of the computer program PG_S are for example loaded into a RAM memory (not shown) before being executed by the processor PROC_S.
  • the processor PROC_S of the processing unit UT_S notably implements the actions of the synthesis method described below, according to the instructions of the computer program PG_S.
  • Such a synthesis device SYNT can be arranged, as illustrated in FIG. 3A, at the output of a decoder DEC having previously reconstructed the images IV1 to IVN, or else be part of such a DEC decoder, as illustrated in FIG. 3B.
  • the actions executed by the decoder DEC are implemented by computer program instructions.
  • the decoder DEC has the conventional architecture of a computer and notably comprises a MEM_D memory, a UT_D processing unit, equipped for example with a PROC_D processor, and controlled by a computer program PG_D stored in memory MEM_D.
  • the computer program PG_D comprises instructions for implementing the actions of the decoding method as described below, when the program is executed by the processor PROC_D.
  • the code instructions of the computer program PG_D are for example loaded into a RAM memory (not shown) before being executed by the processor PROC_D.
  • the processor PROC_D of the processing unit UT_D notably implements the actions of the decoding method described below, according to the instructions of the computer program PG_D.
  • the SYNT synthesis device comprises the following three modules mounted in cascade and controlled by the PROC_S processor:
  • an M3 synthesized image analysis module configured to communicate with the M1 module.
  • the synthesis device SYNT according to the invention is thus advantageously configured to carry out an image synthesis, in which the estimation of synthesis data is carried out jointly and interactively with the calculation of an image of a synthesized view, the synthesis being iterated as needed to modify / complete / refine the synthesized image obtained, thanks to the communication existing between the module M3 and the module M1.
  • such a synthesis method comprises an image processing phase PO which is applied to an image of a view which is part of the plurality of views Vi, ..., VN of a multi-view video, the plurality of views representing a 3D scene respectively according to a plurality of viewing angles or a plurality of positions / orientations.
  • Such images are images which have been reconstructed by the decoder DEC of FIGS. 3A and 3B, prior to the implementation of the iterative synthesis method.
  • the PO image processing phase includes the following.
  • DSo image synthesis data is generated by the module M1 of Figure 2, from texture data of at least one of the images IV1 to IVN.
  • This is for example DSo synthesis data generated from texture data of the IVi image.
  • this texture data Ti corresponds to only certain pixels of the texture component CTi of the image IVi previously reconstructed.
  • a DSo synthesis data map generated for these certain pixels is obtained. Such a card is shown in Figure 4A.
  • the generation of the DSo image synthesis data amounts to:
  • DSCi image synthesis data which have been previously generated at the encoder from original texture data of the component of CTi texture of the IVi image, then encoded, and
  • the generation of the image synthesis data DSo amounts to calculating these image synthesis data DSo from texture data of the image IVi reconstructed beforehand.
  • the synthesis data DSo are generated from texture data Ti which corresponds to only certain pixels of the texture component CTi of the image IVi previously reconstructed.
  • the calculation resources for the implementation of the step of generating summary data are therefore particularly lightened compared to the depth estimates implemented. in the prior art which consider all the pixels of an image.
  • the generated synthesis data DSo is depth data associated with the texture data Ti.
  • other types of DSo summary data can of course be considered.
  • Examples of DSo summary data can be, in a non-exhaustive way:
  • the structural information contained in the contour maps, the angles and the active contours can be used by the iterative image synthesis method according to the invention, for example to avoid ghosting artifacts. This can be achieved by improving the synthesis algorithm or by improving the depth maps.
  • Contour detection approaches can include the use of operators such as Sobel, Canny, Prewitt or Roberts.
  • the angles can be estimated using a Harris type angle detection operator;
  • the SURF algorithm is an extension of the SIFT algorithm, replacing the Gaussian filter in SIFT by an average filter;
  • Such statistical characteristics are for example representative of the percentage of texture, or of contour, in given areas of the image of a view. They are used by the SYNT synthesis device in order to synthesize an image with a percentage of texture or contour which approaches it. The same is true for histogram data relating to different areas of the image of a view, the synthesis device SYNT trying to keep this data. histograms for each of these zones for the image of the view synthesized by the latter.
  • Machine learning methods such as Convolutional Neural Networks (CNN) can also be used to extract features from reconstructed texture data. useful for image synthesis.
  • CNN Convolutional Neural Networks
  • DSo data generated at the end of step S1o and more generally the data generated at each iteration.
  • Such an expression covers not only partial or partial depth maps, but also the aforementioned data. Other types of data not mentioned here are also possible.
  • the synthesis data DSo can also be generated from at least one item of information MD associated with the sequence of multi-view images IVi to IVN and / or d one or more CPi to CPN depth maps available, associated respectively with the texture components CTi to CTN of the images IVi to IVN.
  • MD information is, for example, metadata representative of a difference or of a correlation between the views Vi to VN, such as one or more camera parameters, one or more occlusion maps, differences in decoding modes, etc. .
  • Such MD information is for example transmitted in a stream received by the iterative synthesis device SYNT illustrated in FIG. 2.
  • the MD information may also be already available at the level of the synthesis device.
  • the depth estimation is implemented for example using a monocular neural network, d 'a contour based depth estimation algorithm or T-junctions, etc .; ;
  • the depth estimation is implemented for example using a stereoscopic matching algorithm
  • the DSo synthesis data are associated with an uncertainty value on the correlation of said synthesis data with the corresponding texture data of the IVi image.
  • these uncertainty values are grouped together in a map such as for example:
  • an OM occupancy map which is a binary map indicating, for the pixels considered in the texture component CTi, whether the corresponding depth values are correlated (value set to 1) or not ( value set to 0) to the values of these pixels;
  • CM confidence map
  • the generation of the summary data is implemented from a threshold which is for example a distortion value SAD (“Sum of Absolute Differences”) which is representative of the quality of the setting.
  • SAD Sud of Absolute Differences
  • stereoscopic correspondence for example or even more generally on the basis of any other indicator making it possible to establish a degree of confidence in each pixel, for the synthesis data item to be generated for this pixel.
  • the summary data map is only filled for the pixels whose confidence is greater than a given threshold.
  • the summary data map is filled for all the pixels of the image, but is accompanied either by a confidence map at each point, or by the value SAD which must be compared to the threshold , at each point.
  • the summary data map is incomplete, but is nevertheless accompanied either by a confidence map at each existing point, or by the value SAD which must be compared with the threshold, at each point. existing point.
  • the iterative synthesis method according to the invention continues with a calculation S2o by the calculation module M2 of FIG. 2 of an image of a synthesized view ISo, from the synthesis data DSo generated in S1o and at minus one image IVj among the images IVi to IVN.
  • the image IVj can be the image IVi or another image among N.
  • the S2o calculation is implemented by a conventional synthesis algorithm, such as for example of the RVS type (“Reference View Synthesizer” in English), VVS (“Versatile View Synthesizer” in English), etc.
  • An example ISo synthesized image is shown in Figure 4A.
  • the ISo synthesized image is analyzed against a CS synthesis performance criterion, using the M3 analysis module in Figure 2.
  • - CS2 size of the largest area to be filled in the ISo synthesized image below a threshold, such a criterion signifying that an inpainting algorithm will succeed in reconstructing the missing data of this image efficiently;
  • the ISo synthesized image is considered valid and is delivered to be stored waiting to be displayed by a terminal of a user who has requested this image and / or directly displayed by the terminal.
  • the analysis module M3 transmits to the module M1 information INFo on the pixels / areas of pixels of the synthesized image ISo which have not been synthesized or which were not considered to have been correctly synthesized at the end of the PO image processing phase.
  • INFo information is contained in a dedicated message or request. More specifically, the information INFo is represented in the form of the coordinates of these pixels not or poorly synthesized according to the aforementioned criteria or even in the form of a percentage of non-synthesized pixels.
  • the M3 analysis module also transmits in S4o the OMi occupancy card or the CMi trust card generated in S1o.
  • the SYNT synthesis device then triggers a new image processing phase P1, in order to improve / refine the ISo synthesized image which was obtained previously.
  • the synthesis data generation module M1 generates at again synthetic data DSi from texture data (pixels) of at least one of the images IVi to IVN. It could be for example:
  • the synthesis data DSi can also be generated from at least one item of information MD associated with the sequence of multi-view images IVi to IVN and / or from one or more depth maps CPi to CPN available. , associated respectively with the texture components CTi to CTN of the images IVi to IVN. It can also be depth data, partial depth maps, contour maps, etc. used individually or in combination, the choice of the type of this data is not necessarily the same as that used in S1o.
  • step S11 there is obtained a synthesis data map DSi generated for these texture data.
  • a synthesis data map DSi generated for these texture data.
  • the selection of the image (s) to generate the synthesis data DSi can be implemented in different ways.
  • the synthesis data generation module M1 can be configured to select in S11 the two texture components CT3 and C ⁇ 4, respectively. closest images IV3 and IV4 to images IV1 and IV2.
  • the module M1 can be configured to use in S11 the texture components CTi and CT3 or else CT2 and CT3 to generate the DS-i synthesis data.
  • the module M1 can simultaneously use several texture components, for example four texture components CT3, CI4, CTs, CTe.
  • the module M1 can use, in addition to or instead of the texture components CTi to CTN, one or more images previously synthesized (s). For example, in S11, the module M1 can use the synthesized image ISo to generate the synthesis data DSi.
  • the choice in S11 of the texture data and / or P and / or Tk is conditioned by the information INFo. If, for example, the information INFo is representative of the location of one or more occlusion zones in the synthesized image ISo, the module M1 is configured to select in S11 one or more texture components of images more distant than that (s) used in S1o to fill these areas. Such a selection can be guided by the information MD corresponding for example to camera parameters, such as for example the angle of the camera and its position in the scene.
  • DSi summary data is generated in a similar manner to DSo data.
  • the synthesis data DSi are generated by modifying all or part of the synthesis data DSo with the texture data Ti and / or T′i and / or Tk.
  • intermediate synthesis data DS int i is generated in a similar manner to synthesis data DSo. This intermediate summary data is then combined / merged with the DSo summary data, providing the DS-i summary data.
  • the summary data missing in a summary data card for example the card containing the summary data DS int i, are recovered from the existing summary data DSo of the other card, or else Conversely.
  • the value of SAD can be calculated by a stereoscopic matching algorithm which performs a match between the image IVi or IVk used in S1i to generate the synthesis data and another image among N.
  • the vectors found to match these two images come from a motion estimate which returns a level of correlation SAD which is considered as an example of a degree of confidence.
  • these DSo synthesis data are replaced by these DSi synthesis data, so as to keep the information of a depth plane first (in this example, the foreground of the scene).
  • the image processing phase P1 continues with a calculation S2i, by the calculation module M2 of FIG. 2, of a new image of a synthesized view IS-i.
  • calculation S2i is implemented by a conventional synthesis algorithm, such as for example RVS or VVS.
  • An example of an ISi synthesized image is shown in Figure 4B.
  • the calculation module M2 modifies the synthesized image ISo calculated in S2o, at least from the synthesis data DSi generated in S11. At least one image among the IVi to IVN images can also be used when making this change.
  • the calculation module M2 calculates an intermediate synthesized image IS int i from the synthesis data DSi obtained in S1i and optionally from one or more images IVi to IVN, then combines the intermediate synthesized image IS int i with the synthesized image ISo previously calculated in S2o to generate a synthesized image IS-i.
  • the synthesized image ISi is obtained by recovering the missing pixels in a synthesized image among the images IS int i and ISo, for example the image IS int i, among the pixels existing in the image ISo .
  • the synthetic image ISi is obtained by selecting from among the images IS int i and ISo, the common synthesized pixel which is associated with the highest degree of confidence using the aforementioned confidence map CM.
  • the synthetic image ISi is obtained by selecting from among the images IS int i and ISo, the common synthesized pixel which is associated with a priority depth plane, the foreground of the scene for example.
  • the image processing phase P1 continues with an analysis, in S3i, of the synthesized image ISi against a synthesis performance criterion CS, by means of the analysis module M3 in FIG. 2.
  • the performance criteria used in the image processing phase P1 may be the same as the criteria CS1 to CS3 above. Two other following criteria can also be considered in a non-exhaustive way:
  • the value of certain synthesized pixels in the ISi synthesized image is equal or substantially equal to that of certain synthesized pixels of the same respective position in the ISo synthesized image, resulting in two similar synthesized images.
  • the synthesized image ISi is considered valid and is delivered to be stored while waiting to be displayed by a terminal of a user who has requested this image and / or directly displayed by the terminal.
  • the analysis module M3 transmits in S4i to the module M1 information INF1. If the S3i analysis of the synthesized image IS1 uses the synthesis performance criterion CS4, the information INF1 contains the coordinates of the pixels of the zone (s) of the synthesized image IS1 considered to lack temporal consistency with the pixels of corresponding position in the synthesized image ISo. If the S3i analysis of the synthesized image IS1 uses the synthesis performance criterion CS5, the information IN Fi contains the coordinates of the pixels of the zone (s) of the synthesized image IS1 considered to lack pixel coherence with the pixels of corresponding position in the ISo synthesized image.
  • the SYNT synthesis device then triggers a new image processing phase P2 similar to the image processing phase P1, in order to further improve / refine / complete the IS1 synthesized image that was obtained previously.
  • an image processing phase can be iterated as long as one or more synthesis performance criteria are not met.
  • a current image processing phase Pc takes place as follows:
  • the synthesis data generation module M1 again generates DSc synthesis data from texture data (pixels) of at least one of the images IV1 to IVN. It could be for example:
  • T’i texture data Tk already used in the previous summary data generation steps, and / or
  • the synthesis data DSc can also be generated from at least one item of information MD associated with the sequence of multi-view images IV1 to IVN and / or from one or more depth maps CPi to CPN available, associated respectively with the texture components CTi to CTN of images IV1 to IVN. It can also be depth data, partial depth maps, contour maps, etc. used individually or in combination, the choice of the type of this data not necessarily being the same as that used in the preceding summary data generation steps S1 o, S11, etc.
  • the selection of the image (s) to generate the synthesis data DSc is carried out in the same manner as in the aforementioned embodiments.
  • the synthesis data generation module M1 can be configured to select in SIC one or more texture components of the images IVi to IVN which, depending on the result of the analysis of the synthesized images carried out in the processing phases of previous image, can be closer or further from the images already used in the previous image processing phases.
  • the module M1 can use, in addition to or instead of the texture components CTi to CTN, one or more images ISo, ISi, ... already synthesized during the preceding processing phases.
  • the choice in S1 c of the texture data can be conditioned by the information INF c -i, this choice can also be supplemented by the information INFo, INF-i, ... generated at the end steps of calculating synthetic images ISo, ISi, ... respectively.
  • the selection of the new texture data will be based on the criteria of the table Table2 mentioned above, considering the image l c -i synthesized during the previous image processing phase Pc-1, with regard to at least one of the other ISo, ISi, ... images already synthesized during the previous processing phases.
  • the synthesis data DSc can be generated in Sic by modifying, using the texture data Ti and / or T'i and / or Tk and / or Tm used at the input of the module M1, all or part of the synthesis data DSc-i generated in the previous image processing phase P c -i, but also the synthesis data DSo, DS-i, ... before the phase P c - 1.
  • the generation Sic of the synthesis data may be implemented from a threshold which is for example a distortion value SAD .
  • the SAD distortion value can be the same at each iteration. However, such an SAD value may vary.
  • the required SAD value is for example as low as possible and is increased in the following processing phases, for example from the processing phase current image Pc.
  • the SAD value can be gradually increased at each iteration of an image processing phase.
  • the current image processing phase Pc continues with a calculation S2 C , by the calculation module M2 of FIG. 2, of a new image of a synthetic view ISc.
  • the calculation S2 C is implemented by a conventional synthesis algorithm, such as for example RVS or VVS.
  • the calculation module M2 modifies the synthesized image ISc-i obtained during the previous image processing phase P c -i, at less from the DSc summary data generated in Sic. At least one image among the images IVi to IVN can also be used during this modification.
  • the calculation module M2 calculates an intermediate synthesized image IS int c from the synthesis data DSc obtained in Sic and optionally from one or more images IVi to IVN, then combines the intermediate synthesized image IS int c with the synthesized image ISc-i calculated previously in the previous image processing phase Pc-1 and possibly with one or more ISo images,
  • the Pc image processing phase continues with an analysis, in S3c, of the synthesized image ISc against a CS synthesis performance criterion, using the M3 analysis module in Figure 2.
  • the performance criteria used in the image processing phase Pc are the aforementioned criteria CS1 to CS5. If one or more of these criteria is / are met, the synthesized image ISc is considered valid and is delivered to be stored waiting to be displayed by a terminal of a user who has requested this image and / or directly displayed by the terminal. If one or more of these criteria is / are not met, the analysis module M3 transmits in S4 C to the module M1 information INF C. A new image processing phase Pc + 1 is then triggered.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

L'invention concerne la synthèse d'une image d'une vue à partir de données d'une vidéo multi-vues, comprenant une phase de traitement d'image comme suit : - générer (S10) des données de synthèse d'image (DS0) à partir de données de texture d'au moins une image d'une vue de la vidéo multi-vues, - calculer (S20) une image d'une vue synthétisée (IS0) à partir desdites données de synthèse générées et d'au moins une image d'une vue de la vidéo multi-vues, - analyser (S30) l'image de ladite vue synthétisée par rapport à un critère de performance de synthèse, - si ledit critère est respecté, délivrer l'image de ladite vue synthétisée, - sinon, itérer ladite phase de traitement, le calcul (S2c) d'une image d'une vue synthétisée (ISc) à une itération courante comprenant la modification, à partir de données de synthèse (DSc) générées à l'itération courante, d'une image (ISc-1) de la vue synthétisée calculée lors d'une phase de traitement précédant l'itération courante.

Description

DESCRIPTION
Titre: Synthèse itérative de vues à partir de données d’une vidéo multi-vues Domaine de l'invention
La présente invention se rapporte de manière générale au domaine de la synthèse d’images.
La présente invention s’applique plus particulièrement à la synthèse de points de vue intermédiaires non capturés, à partir d’images de plusieurs vues 2D (deux dimensions), 360°, 180°, etc., qui sont capturées pur générer une vidéo immersive, telle que notamment une vidéo 360°, 180°, etc.
L’invention peut notamment, mais non exclusivement, s’appliquer au décodage vidéo mis en oeuvre dans les décodeurs vidéo actuels HEVC (abréviation anglaise de «High Efficiency Video Coding ») et ses extensions MV-HEVC (abréviation anglaise de « Multiview HEVC »), 3D-HEVC, etc.
Art antérieur
Dans un contexte de vidéo immersive, c’est à dire où le spectateur a la sensation d’être immergé dans une scène 3D (trois dimensions), la scène est classiquement capturée par un ensemble de caméras. Ces caméras peuvent être :
- de type 2D, pour capturer un angle particulier de la scène, et/ou
- de type 360 ° , 180° ou autres, pour capturer toutela scène à 360 degrés, 180 degrés ou autres, autour de la caméra.
Les images de telles vues capturées sont traditionnellement codées, puis décodées par le terminal du spectateur. Néanmoins, afin de fournir une qualité d’expérience suffisante, et donc une qualité visuelle et une bonne immersion, afficher les vues capturées est insuffisant. Les images d’une multitude de vues, dites intermédiaires, doivent être calculées, à partir des images des vues décodées.
Le calcul d’images de ces vues intermédiaires est réalisé par un algorithme dit « de synthèse » de vue (« view synthesis algorithm » en anglais). Un algorithme de synthèse est capable, à partir d’images de N vues, avec N>1 , de synthétiser une image d’un point de vue intermédiaire situé à n’importe quel endroit de l’espace. L’image d’une vue considérée parmi N comprend une composante de texture et une carte de profondeur qui indique la distance séparant les différents éléments de la scène de la caméra qui a capturé l’image de cette vue. Ainsi, l’image d’une vue intermédiaire obtenue par synthèse comprend elle aussi une composante de texture synthétisée à partir des N composantes de texture des images des N vues.
Pour une vue considérée parmi N, la carte de profondeur est soit capturée, soit calculée à partir des N composantes de texture. Cependant, dans les deux cas, une telle carte de profondeur peut contenir de nombreuses erreurs qui sont soit liées à la capture, soit liées au calcul, soit liées à la compression des images des N vues.
De telles erreurs se répercutent donc inévitablement dans l’image d’une vue synthétisée à partir de l’image de chacune de ces N vues, ce qui réduit notablement les performances des algorithmes de synthèse actuels.
En outre, de tels algorithmes de synthèse sont complexes en termes de ressources en calculs car tous les pixels de chacune des N composantes de texture et tous les points des N cartes de profondeur sont systématiquement utilisés pour synthétiser l’image d’une vue, alors que certains de ces pixels et/ou certains de ces points ne sont pas toujours utiles à prendre en compte dans la synthèse.
Objet et résumé de l'invention
Un des buts de l'invention est de remédier à des inconvénients de l'état de la technique précité. A cet effet, un objet de la présente invention concerne un procédé de synthèse d’une image d’une vue à partir de données d’une vidéo multi-vues, mis en oeuvre dans un dispositif de synthèse d’image.
Un tel procédé comprend une phase de traitement d’image comme suit :
- générer des données de synthèse d’image à partir de données de texture d’au moins une image d’une vue de la vidéo multi-vues,
- calculer une image d’une vue synthétisée à partir des données de synthèse générées et à partir d’au moins une image d’une vue de la vidéo multi-vues,
- analyser l’image de la vue synthétisée par rapport à un critère de performance de synthèse, - si le critère est respecté, délivrer l’image de la vue synthétisée,
- sinon, itérer la phase de traitement, l’étape de calcul d’une image d’une vue synthétisée à une itération courante comprenant la modification, à partir de données de synthèse générées à l’itération courante, d’une image de la vue synthétisée calculée lors d’une phase de traitement précédant l’itération courante.
Grâce au caractère itératif de la phase de traitement d’image précitée d’un tel procédé de synthèse et à la prise en compte d’un critère de performance de synthèse lors de chaque étape d’analyse de l’image synthétisée calculée, il est ainsi possible d’obtenir l’image d’une vue synthétisée ayant une très bonne qualité visuelle, des zones non ou mal synthétisées lors d’une phase de traitement courante étant synthétisées ou raffinées lors d’itérations suivantes. Un mécanisme de correction itératif et adaptatif de l’image d’une vue synthétisée est ainsi avantageusement mis en oeuvre, apportant de la souplesse aux procédés de synthèse existants.
En outre, le procédé de synthèse selon l’invention permet d’optimiser un compromis - qualité visuelle/complexité calculatoire- car l’étape de génération de données de synthèse d’image n’utilise pas obligatoirement toutes les données de texture d’une image d’une vue de la vidéo.
Enfin, un autre avantage du procédé de synthèse itératif selon l’invention ouvre les perspectives d’une scalabilité en complexité, dans le cas où un terminal qui requiert l’affichage de l’image d’une vue synthétisé ne permet pas l’affichage de cette image avec une résolution élevée ou une qualité élevée.
Plus précisément, une phase de traitement courante à l’itération courante se déroule comme suit :
- générer des données de synthèse à partir de données de texture d’au moins une image d’une vue de la vidéo multi-vues et/ou à partir de données de texture d’au moins une image de la vue synthétisée calculée lors d’une phase de traitement précédant l’itération courante,
- à partir des données de synthèse générées à l’itération courante, modifier une image de la vue synthétisée calculée lors d’une phase de traitement précédant l’itération courante,
- analyser l’image de la vue synthétisée modifiée par rapport au critère de performance de synthèse.
Selon un mode de réalisation particulier, à l’itération courante, une image d’une vue utilisée pour générer les données de synthèse est sélectionnée en fonction du résultat de l’analyse de l’image de la vue synthétisée modifiée lors d’une phase de traitement précédant l’itération courante. Une telle sélection étant conditionnée au résultat d’une analyse précédente de l’image de la vue synthétisée, il est ainsi possible d’utiliser à chaque nouvelle étape de génération de données de synthèse au moins une image d’une vue de la vidéo multi-vues qui soit la plus pertinente possible pour compléter/raffiner la synthèse d’image effectuée lors d’une ou de plusieurs phase(s) de traitement précédente(s). Selon un autre mode de réalisation particulier, à l’itération courante, la génération des données de synthèse utilise les données de synthèse générées lors d’une phase de traitement précédant l’itération courante.
La prise en compte à l’itération courante de données de synthèse générées précédemment permet de raffiner les données de synthèse qui sont générées à l’itération courante et/ou de venir en complément de ces dernières.
Selon un autre mode de réalisation particulier, à l’itération courante, la génération de données de synthèse comprend une modification des données de synthèse générées lors d’une phase de traitement précédant l’itération courante, à partir de données de texture utilisées à l’itération courante.
Un tel mode de réalisation permet avantageusement de raffiner les données de synthèse générées lors d’une ou plusieurs phases de traitement précédant l’itération courante, en prenant en compte une ou plusieurs nouvelle(s) vue(s) considérée(s). Selon un autre mode de réalisation particulier, les données de synthèse générées à l’itération courante sont combinées avec des données de synthèse générées lors d’une phase de traitement précédant l’itération courante.
Un tel mode de réalisation permet avantageusement d’obtenir à l’itération courante l’image d’une vue synthétisée qui contient de moins en moins de zones d’occlusion. La qualité visuelle de l’image synthétisée est ainsi améliorée au fur et à mesure des itérations.
Selon un autre mode de réalisation particulier, les données de synthèse générées au cours d’une phase de traitement appartiennent au groupe comprenant :
- des données de profondeur associées aux données de texture de l’image de la vue de la vidéo multi-vues utilisées dans ladite phase de traitement,
- des données de contour associées aux données de texture de l’image de la vue de la vidéo multi-vues utilisées dans ladite phase de traitement, - un élément visuel de l’image de la vue de la vidéo multi-vues utilisée dans ladite phase de traitement, ledit élément visuel ne variant pas d’une image d’une vue de la vidéo multi-vues à l’autre,
- des données statistiques calculées sur des données de texture de l’image de la vue de la vidéo multi-vues utilisées dans ladite phase de traitement.
De tels exemples de données de synthèse générées ne sont bien sûr pas exhaustifs. Ils sont cités ici comme étant particulièrement judicieux à utiliser pour optimiser la synthèse de l’image d’une vue mise en oeuvre par le procédé de synthèse selon l’invention, en termes de compromis qualité visuelle/complexité calculatoire.
Selon un autre mode de réalisation particulier, les données de synthèse générées au cours d’une phase de traitement sont associées à une valeur d’incertitude sur la corrélation desdites données de synthèse avec les données de texture correspondantes de ladite au moins une image de ladite vue qui ont été utilisées pour générer lesdites données de synthèse.
De telles valeurs d’incertitude constituent des informations complémentaires pertinentes à prendre en compte dans une phase de traitement suivante et guident dans le choix, au cours de cette phase de traitement suivante, notamment :
- de telles ou telles données de texture, dans telle ou telle image d’une vue, à utiliser dans l’étape de génération de nouvelles donnée de synthèse,
- de telle ou telle image d’une vue de la vidéo multi-vues à utiliser dans l’étape de modification de l’image de la vue synthétisée à l’itération précédente,
- etc.
Selon un autre mode de réalisation particulier, au cours d’une phase de traitement, la génération de données de synthèse utilise au moins une image de profondeur d’une vue de la vidéo multi-vues et/ou au moins une information associée à la vidéo multi- vues.
Dans cet autre mode de réalisation, la génération de données de synthèse utilise avantageusement d’autres données que des données de texture d’au moins une image d’une vue de la vidéo multi-vues. Il peut s’agir de données de profondeur qui viennent en complément des données de texture pour enrichir l’étape de génération de données de synthèse. En complément de ces données de profondeur ou alternativement à celles-ci, il peut s’agir d’au moins une information associée à la vidéo multi-vues. Une telle information est représentative d'une différence ou d'une corrélation entre les vues de la vidéo multi-vues (paramètres de caméra, carte d'occlusion, différence de modes de décodage, etc..).
Selon un autre mode de réalisation particulier, à l’itération courante, la modification de l’image de la vue synthétisée calculée à une itération précédente utilise des données de synthèse générées précédemment à l’itération courante.
Dans cet autre mode de réalisation, afin d’affiner davantage l’image de la vue synthétisée obtenue par le procédé de synthèse de l’invention, une image synthétisée calculée lors d’une phase de traitement précédant l’itération courante est utilisée en complément des données de synthèse générées à l’itération courante et de ladite au moins une image d’une vue de la vidéo multi-vues, pour modifier l’image synthétisée calculée à l’itération précédente.
Selon un autre mode de réalisation particulier, à l’itération courante, la modification de l’image de la vue synthétisée calculée à une itération précédente comprend le calcul d’une image d’une vue synthétisée à partir desdites données de synthèse générées à l’itération courante et de l’image de ladite vue synthétisée calculée à ladite itération précédente.
Dans cet autre mode de réalisation, l’image de la vue synthétisée à l’itération précédente est utilisée en tant que paramètre d’entrée de l’étape de modification de l’image de la vue synthétisée précédemment calculée, venant ainsi en complément des données de synthèse générées à l’itération courante et de l’image d’au moins une vue de la vidéo multi-vues qui sont utilisées en entrée de cette étape. L’image de la vue synthétisée calculée à l’itération courante présente ainsi une qualité visuelle optimisée.
Selon un autre mode de réalisation particulier, à l’itération courante, la modification de l’image de la vue synthétisée calculée à une itération précédente comprend ce qui suit :
- calculer une image d’une vue synthétisée à partir des données de synthèse générées à l’itération courante et à partir de l’image d’une vue de la vidéo multi-vues,
- combiner l’image de la vue synthétisée calculée avec l’image de la vue synthétisée calculée à l’itération précédente.
Dans cet autre mode de réalisation, l’image de la vue synthétisée à l’itération précédente est utilisée une fois que l’image de la vue synthétisée a été obtenue à l’itération courante, en étant combinée/fusionnée avec celle-ci, de manière à compléter totalement ou en partie les zones d’occlusion encore présentes dans l’image synthétisée à l’itération courante.
Selon un autre mode de réalisation particulier, l’itération courante est mise en oeuvre en réponse à un message du dispositif de synthèse, un tel message contenant : - soit des informations de localisation d’une ou plusieurs zones/d’un ou plusieurs pixels de l’image de la vue synthétisée calculée précédemment à l’itération courante, qui ne respectent pas le critère de performance de synthèse,
- soit un pourcentage de pixels non synthétisés de l’image de la vue synthétisée précédemment à l’itération courante. Un tel mode de réalisation permet de rendre le procédé de synthèse interactif en itérant une phase de traitement d’image en réponse à un message contenant des informations explicites servant à guider le dispositif de synthèse dans le choix des paramètres à considérer pour mettre en oeuvre la phase de traitement courante. Ainsi, l’image d’une vue synthétisée peut être améliorée progressivement d’une itération à la suivante, sur la base de paramètres choisis selon le résultat de l’analyse des images synthétisées précédemment.
Selon un autre mode de réalisation particulier, l’itération courante est mise en oeuvre en outre en réponse à la réception de valeurs d’incertitude associées aux données de synthèse générées à l’itération précédente. Un tel mode de réalisation permet d’accompagner le message envoyé pour relancer une itération courante par des valeurs d’incertitude associées aux données de synthèse générées à l’itération précédente, pour guider encore mieux le choix des paramètres à considérer pour mettre en oeuvre la phase de traitement à l’itération courante. Les différents modes ou caractéristiques de réalisation précités peuvent être ajoutés indépendamment ou en combinaison les uns avec les autres, au procédé de synthèse défini ci-dessus.
L'invention concerne également un dispositif de synthèse d’une image d’une vue à partir de données d’une vidéo multi-vues, ledit dispositif comprenant un processeur qui est configuré pour mettre en oeuvre ce qui suit :
- mettre en oeuvre une phase de traitement d’image comme suit :
-- générer des données de synthèse d’image à partir de données de texture d’au moins une image d’une vue de la vidéo multi-vues, -- calculer une image d’une vue synthétisée à partir des données de synthèse générées et à partir d’au moins une image d’une vue de la vidéo multi-vues,
-- analyser l’image de ladite vue synthétisée par rapport à un critère de performance de synthèse, -- si ledit critère est respecté, délivrer l’image de ladite vue synthétisée,
-- sinon, itérer la phase de traitement, le calcul d’une image d’une vue synthétisée à une itération courante comprenant la modification, à partir de données de synthèse générées à l’itération courante, d’une image de la vue synthétisée calculée lors d’une phase de traitement précédant l’itération courante. Un tel dispositif de synthèse est notamment apte à mettre en oeuvre le procédé de synthèse précité.
L’invention concerne également un procédé de décodage d’un signal de données codées d’une vidéo multi-vues, mis en oeuvre dans un dispositif de décodage d’image, comprenant ce qui suit : - décoder des images de plusieurs vues codées, produisant un ensemble d’images de plusieurs vues décodées,
- synthétiser une image d’une vue à partir dudit ensemble d’images conformément au procédé de synthèse précité, selon l’un quelconque de ses modes de réalisation précités. Selon un mode de réalisation particulier, les données de synthèse sont générées à partir de données de texture d’au moins une des images décodées dudit ensemble. Grâce à ce mode de réalisation, les données de synthèse n’ont pas besoin d’être transmises, ce qui permet une réduction non négligeable du coût de signalisation des données codées. Selon un autre mode de réalisation particulier, les données de synthèse étant préalablement codées, elles sont générées comme suit :
- lire les données de synthèse codées dans ledit signal de données ou dans un autre signal de données,
- décoder les données de synthèse lues. Cet autre mode de réalisation permet de réduire la complexité du décodeur.
L'invention concerne encore un programme d'ordinateur comportant des instructions pour la mise en oeuvre du procédé de synthèse selon l'invention ou du procédé de décodage intégrant le procédé de synthèse selon l'invention, selon l’un quelconque des modes particuliers de réalisation décrits précédemment, lorsque ledit programme est exécuté par un processeur.
De telles instructions peuvent être stockées durablement dans un support mémoire non transitoire du dispositif de synthèse mettant en oeuvre le procédé de synthèse précité ou du décodeur mettant en oeuvre le procédé de décodage précité.
Ce programme peut utiliser n’importe quel langage de programmation, et être sous la forme de code source, code objet, ou de code intermédiaire entre code source et code objet, tel que dans une forme partiellement compilée, ou dans n’importe quelle autre forme souhaitable.
L’invention vise également un support d’enregistrement ou support d’informations lisible par un ordinateur, et comportant des instructions d’un programme d’ordinateur tel que mentionné ci-dessus.
Le support d'enregistrement peut être n'importe quelle entité ou dispositif capable de stocker le programme. Par exemple, le support peut comporter un moyen de stockage, tel qu'une ROM, par exemple un CD ROM ou une ROM de circuit microélectronique, ou encore un moyen d'enregistrement magnétique, par exemple une clé USB ou un disque dur.
D'autre part, le support d'enregistrement peut être un support transmissible tel qu'un signal électrique ou optique, qui peut être acheminé via un câble électrique ou optique, par radio ou par d'autres moyens. Le programme selon l'invention peut être en particulier téléchargé sur un réseau de type Internet.
Alternativement, le support d'enregistrement peut être un circuit intégré dans lequel le programme est incorporé, le circuit étant adapté pour exécuter ou pour être utilisé dans l'exécution du procédé de synthèse ou du procédé de décodage précité.
Brève description des dessins
D'autres caractéristiques et avantages apparaîtront à la lecture de modes de réalisation particuliers de l'invention, donnés à titre d’exemples illustratifs et non limitatifs, et des dessins annexés, parmi lesquels :
[Fig. 1] la figure 1 représente le déroulement d’un procédé de synthèse d’image itératif, dans un mode de réalisation particulier de l’invention,
[Fig. 2] la figure 2 représente un dispositif de synthèse mettant en oeuvre le procédé de synthèse de la figure 1 , [Fig. 3A] la figure 3A représente un agencement du dispositif de synthèse de la figure 2, dans un mode de réalisation particulier de l’invention,
[Fig. 3B] la figure 3B représente un agencement du dispositif de synthèse de la figure 2, dans un autre mode de réalisation particulier de l’invention,
[Fig. 4A] la figure 4A représente un exemple de données de synthèse et d’image d’une vue synthétisée obtenues lors de la mise en oeuvre d’une première phase de traitement d’image du procédé de synthèse de la figure 1 ,
[Fig. 4B] la figure 4B représente un exemple de données de synthèse et d’image d’une vue synthétisée obtenues lors de la mise en oeuvre d’une itération de la phase de traitement d’image de la figure 4A,
[Fig. 5A] la figure 5A représente une étape de génération de données de synthèse, dans un mode de réalisation particulier de l’invention,
[Fig. 5B] la figure 5B représente une étape de génération de données de synthèse, dans un autre mode de réalisation particulier de l’invention,
[Fig. 6A] la figure 6A représente une façon de générer des données de synthèse lors de la mise en oeuvre d’une itération d’une phase de traitement d’image du procédé de synthèse de la figure 1 , dans un mode de réalisation particulier de l’invention,
[Fig. 6B] la figure 6B représente une façon de générer des données de synthèse lors de la mise en oeuvre d’une itération d’une phase de traitement d’image du procédé de synthèse de la figure 1 , dans un autre mode de réalisation particulier de l’invention,
[Fig. 6C] la figure 6C représente une façon de générer des données de synthèse lors de la mise en oeuvre d’une itération d’une phase de traitement d’image du procédé de synthèse de la figure 1 , dans encore un autre mode de réalisation particulier de l’invention,
[Fig. 7A] la figure 7A représente une façon de calculer une image synthétisée lors de la mise en oeuvre d’une itération d’une phase de traitement d’image du procédé de synthèse de la figure 1 , dans un mode de réalisation particulier de l’invention,
[Fig. 7B] la figure 7B représente une façon de calculer une image synthétisée lors de la mise en oeuvre d’une itération d’une phase de traitement d’image du procédé de synthèse de la figure 1 , dans un autre mode de réalisation particulier de l’invention. Description détaillée d’un mode de réalisation de l’invention
On décrit ci-après en référence à la figure 1 , la mise en oeuvre d’un procédé de synthèse d’image itératif selon un mode de réalisation de l’invention, lequel utilise des images d’une pluralité de vues Vi à VN d’une vidéo multi-vues (N>1), représentant une scène 3D selon respectivement une pluralité d’angles de vue ou une pluralité de positions/orientations.
Sur la figure 1 , sont représentées en entrée du procédé de synthèse itératif :
- une image IVi de la vue V-i,
- une image IV2 de la vue V2,
- une image IVk de la vue Vk,
- une image IVN de la vue VN.
De telles images sont des images qui ont été reconstruites par un décodeur, préalablement à la mise en oeuvre du procédé de synthèse itératif.
Ce procédé est réalisé par un dispositif de synthèse d’images SYNT, dont une représentation simplifiée est illustrée sur la figure 2.
Selon un mode particulier de réalisation de l'invention, les actions exécutées par le procédé de synthèse sont mises en oeuvre par des instructions de programme d'ordinateur. A cet effet, le dispositif de synthèse SYNT a l'architecture classique d'un ordinateur et comprend notamment une mémoire MEM_S, une unité de traitement UT_S, équipée par exemple d'un processeur PROC_S, et pilotée par un programme d'ordinateur PG_S stocké en mémoire MEM_S. Le programme d'ordinateur PG_S comprend des instructions pour mettre en oeuvre les actions du procédé de synthèse tel que décrit ci-dessus, lorsque le programme est exécuté par le processeur PROC_S.
A l'initialisation, les instructions de code du programme d'ordinateur PG_S sont par exemple chargées dans une mémoire RAM (non représentée) avant d'être exécutées par le processeur PROC_S. Le processeur PROC_S de l'unité de traitement UT_S met notamment en oeuvre les actions du procédé de synthèse décrit ci-dessous, selon les instructions du programme d'ordinateur PG_S.
Un tel dispositif de synthèse SYNT peut être agencé, comme illustré sur la figure 3A, en sortie d’un décodeur DEC ayant préalablement reconstruit les images IV1 à IVN, ou bien faire partie d’un tel décodeur DEC, comme illustré sur la figure 3B.
Selon un mode particulier de réalisation de l'invention, les actions exécutées par le décodeur DEC sont mises en oeuvre par des instructions de programme d'ordinateur. A cet effet, le décodeur DEC a l'architecture classique d'un ordinateur et comprend notamment une mémoire MEM_D, une unité de traitement UT_D, équipée par exemple d'un processeur PROC_D, et pilotée par un programme d'ordinateur PG_D stocké en mémoire MEM_D. Le programme d'ordinateur PG_D comprend des instructions pour mettre en oeuvre les actions du procédé de décodage tel que décrit ci-dessous, lorsque le programme est exécuté par le processeur PROC_D.
A l'initialisation, les instructions de code du programme d'ordinateur PG_D sont par exemple chargées dans une mémoire RAM (non représentée) avant d'être exécutées par le processeur PROC_D. Le processeur PROC_D de l'unité de traitement UT_D met notamment en oeuvre les actions du procédé de décodage décrit ci-dessous, selon les instructions du programme d'ordinateur PG_D.
Selon l’invention, en référence à la figure 2, le dispositif de synthèse SYNT comprend les trois modules suivants montés en cascade et pilotés par le processeur PROC_S :
- un module M1 d’estimation de données de synthèse,
- un module M2 de calcul d’une image synthétisée,
- un module M3 d’analyse d’image synthétisée configuré pour communiquer avec le module M1.
Le dispositif de synthèse SYNT selon l’invention est ainsi configuré avantageusement pour réaliser une synthèse d’image, dans laquelle l’estimation de données de synthèse est réalisée de façon conjointe et interactive avec le calcul d’une image d’une vue synthétisée, la synthèse étant itérée au besoin pour modifier/compléter/raffiner l’image synthétisée obtenue, grâce à la communication existant entre le module M3 et le module M1.
Comme représenté sur la figure 1 , un tel procédé de synthèse comprend une phase de traitement d’image PO qui s’applique à une image d’une vue qui fait partie de la pluralité de vues V-i,..., VN d’une vidéo multi-vues, la pluralité de vues représentant une scène 3D selon respectivement une pluralité d’angles de vue ou une pluralité de positions/orientations.
Sur la figure 1 , sont représentées en entrée du procédé de synthèse itératif : - une image IV1 d’une vue V-i,
- une image IV2 d’une vue V2,
- une image IVk d’une vue Vk,
- une image IVN d’une vue VN.
De telles images sont des images qui ont été reconstruites par le décodeur DEC des figures 3A et 3B, préalablement à la mise en oeuvre du procédé de synthèse itératif. La phase de traitement d’image PO comprend ce qui suit.
En S1o, des données de synthèse d’image DSo sont générées par le module M1 de la figure 2, à partir de données de texture d’au moins une des images IV1 à IVN. Il s’agit par exemple de données de synthèse DSo générées à partir de données de texture de l’image IVi. Selon l’invention, ces données de texture Ti correspondent à seulement certains pixels de la composante de texture CTi de l’image IVi reconstruite préalablement. A l’issue de l’étape S1o, est obtenue une carte de données de synthèse DSo générées pour ces certains pixels. Une telle carte est représentée sur la figure 4A.
Selon un premier mode de réalisation représenté à la figure 5A, la génération des données de synthèse d’image DSo revient :
- à lire, à partir d’un flux FX reçu en provenance d’un codeur vidéo (non représenté), des données de synthèse d’image DSCi qui ont été préalablement générées au codeur à partir de données de texture originales de la composante de texture CTi de l’image IVi, puis codées, et
- à décoder ces données de synthèse lues.
Selon un deuxième mode de réalisation représenté à la figure 5B, la génération des données de synthèse d’image DSo revient à calculer ces données de synthèse d’image DSo à partir de données de texture de l’image IVi reconstruite préalablement. Selon l’invention, les données de synthèse DSo sont générées à partir de données de texture Ti qui correspondent à seulement certains pixels de la composante de texture CTi de l’image IVi reconstruite préalablement. Les ressources en calculs pour la mise en oeuvre de l’étape de génération de données de synthèse sont donc particulièrement allégées par rapport aux estimations de profondeur mises en oeuvre dans l’art antérieur qui considèrent tous les pixels d’une image.
De manière préférentielle, les données de synthèse DSo générées sont des données de profondeur associées aux données de texture Ti. Toutefois, d’autres types de données de synthèse DSo peuvent bien sûr être envisagés.
Des exemples de données de synthèse DSo peuvent être, de manière non exhaustive:
- des cartes de profondeur partielles, i.e. des images pour lesquelles certains pixels ont une valeur de profondeur associée et d'autres ont une valeur réservée indiquant qu'aucune valeur de profondeur n'a pu être associée à ces pixels ;
- des cartes de contour ou des angles présents dans une image: les informations structurelles contenues dans les cartes de contour, les angles et les contours actifs peuvent être utilisés par le procédé de synthèse d’image itératif selon l’invention, par exemple pour éviter les artefacts de rémanence (« ghosting artifacts » en anglais). Ceci peut être réalisé en améliorant l'algorithme de synthèse ou en améliorant les cartes de profondeur. Les approches de détection de contour peuvent comprendre l'utilisation d'opérateurs de type Sobel, Canny, Prewitt ou Roberts. Les angles peuvent être estimés à l'aide d'un opérateur de détection d'angle de type Harris ;
- des caractéristiques extraites par des algorithmes de type SIFT ("Scale-lnvariant Feature Transform" en anglais), ou SURF ("Speeded-Up Robust Features" en anglais). De tels algorithmes sont utilisés pour l'estimation d'homographies, de matrices fondamentales et d'appariement d'images. Les caractéristiques extraites par ces méthodes partagent donc des caractéristiques similaires à celles des cartes de profondeur, ce qui implique une relation entre les images. L'algorithme SURF est une extension de l'algorithme SIFT, remplaçant le filtre gaussien dans SIFT par un filtre moyen ;
- des caractéristiques statistiques calculées sur une ou plusieurs textures (locales ou sur l'image complète), des données d’histogrammes, etc.
De telles caractéristiques statistiques sont par exemple représentatives du pourcentage de texture, ou de contour, dans des zones données de l’image d’une vue. Elles sont utilisées par le dispositif de synthèse SYNT dans le but de synthétiser une image avec un pourcentage de texture ou de contour qui s’en approche. Il en va de même pour les données d’histogrammes concernant différentes zones de l’image d’une vue, le dispositif de synthèse SYNT essayant de conserver ces données d’histogrammes pour chacune de ces zones pour l’image de la vue synthétisée par ce dernier.
Des méthodes d'apprentissage machine (« machine learning » en anglais), telles que des réseaux de neurones en convolution (CNN pour « Convolutional Neural Networks » en anglais), peuvent également être utilisées pour extraire à partir de données de texture reconstruites des caractéristiques utiles à la synthèse d’images. Ces différentes données de synthèse peuvent, au cours de l’étape S1o, être utilisées individuellement ou en combinaison.
On appellera par la suite données de synthèse, les données DSo générées à l’issue de l’étape S1o et plus généralement les données générées à chaque itération. Une telle expression couvre non seulement des cartes de profondeur partielles ou non, mais aussi les données précitées. D'autres types de données non citées ici sont aussi possibles.
De façon optionnelle, et pour cela représenté en pointillé sur la figure 1 , les données de synthèse DSo peuvent être générées également à partir d’au moins une information MD associée à la séquence d’images multi-vues IVi à IVN et/ou d’une ou plusieurs cartes de profondeur CPi à CPN disponibles, associées respectivement aux composantes de texture CTi à CTN des images IVi à IVN. Une information MD est par exemple une métadonnée représentative d'une différence ou d'une corrélation entre les vues Vi à VN, telle que un ou plusieurs paramètres de caméra, une ou plusieurs cartes d'occlusion, des différences de modes de décodage, etc.
Une telle information MD est par exemple transmise dans un flux reçu par le dispositif de synthèse itératif SYNT illustré en figure 2. L’information MD peut également être déjà disponible au niveau du dispositif de synthèse.
Dans le cas où les données de synthèse DSo sont des données de profondeur :
- si ces données de profondeur sont générées à partir de données de texture d’une seule image d’une vue parmi N, l’estimation de profondeur est mise en oeuvre par exemple à l’aide d’un réseau de neurones monoculaire, d’un algorithme d’estimation de profondeur basé contour ou T-jonctions (« T-junctions » en anglais), etc. ;
- si ces données de profondeur sont générées à partir de données de texture d’au moins deux images parmi N, l’estimation de profondeur est mise en oeuvre par exemple à l’aide d’un algorithme de mise en correspondance stéréoscopique
(« stéréo matching » en anglais), d’un algorithme de mise en correspondance basé motif (« template matching » en anglais), etc.
De façon optionnelle, et pour cette raison représenté en pointillé sur la figure 1 , les données de synthèse DSo sont associées à une valeur d’incertitude sur la corrélation desdites données de synthèse avec les données de texture correspondantes de l’image IVi. De façon connue en soi, ces valeurs d’incertitude sont regroupées dans une carte telle que par exemple :
- une carte d’occupation OM (« occupancy map » en anglais) qui est une carte binaire indiquant, pour les pixels considérés dans la composante de texture CTi, si les valeurs de profondeur correspondantes sont corrélées (valeur mise à 1) ou non (valeur mise à 0) aux valeurs de ces pixels ;
- une carte de confiance CM (« confidence map » en anglais) qui est une carte de valeurs discrètes représentatives, pour les pixels considérés dans la composante de texture CTi, d’un degré de confiance sur la corrélation de la valeur de ces pixels avec les données DSo générées pour chacun de ces pixels.
Selon un mode de réalisation, la génération des données de synthèse est mise en oeuvre à partir d’un seuil qui est par exemple une valeur de distorsion SAD (« Sum of Absolute Différences » en anglais) qui est représentative de la qualité de la mise en correspondance stéréoscopique par exemple ou bien plus généralement à partir de tout autre indicateur permettant d’établir un degré de confiance en chaque pixel, pour la donnée de synthèse à générer pour ce pixel.
Selon un mode de réalisation préféré, la carte de données de synthèse n’est remplie que pour les pixels dont la confiance est supérieure à un seuil donné.
Selon un autre mode de réalisation, la carte de données de synthèse est remplie pour tous les pixels de l’image, mais s’accompagne soit d’une carte de confiance en chaque point, soit de la valeur SAD qui doit être comparée au seuil, en chaque point. Selon encore un autre mode de réalisation, la carte de données de synthèse est incomplète, mais s’accompagne tout de même soit d’une carte de confiance en chaque point existant, soit de la valeur SAD qui doit être comparée au seuil, en chaque point existant.
Le procédé de synthèse itératif selon l’invention se poursuit par un calcul S2o par le module de calcul M2 de la figure 2 d’une image d’une vue synthétisée ISo, à partir des données de synthèse DSo générées en S1o et d’au moins une image IVj parmi les images IVi à IVN. L’image IVj peut être l’image IVi ou bien une autre image parmi N. Le calcul S2o est mis en oeuvre par un algorithme de synthèse classique, tel que par exemple du type RVS (« Reference View Synthesizer » en anglais), VVS (« Versatile View Synthesizer » en anglais), etc... Un exemple d’image synthétisée ISo est représenté à la figure 4A.
En S3o, l’image synthétisée ISo est analysée par rapport à un critère de performance de synthèse CS, au moyen du module d’analyse M3 de la figure 2.
Différents critères de performance de synthèse sont possibles à ce stade. A titre d’exemples non exhaustifs, ces critères sont :
- CS1 : nombre de pixels manquants dans l’image synthétisée ISo inférieur à un seuil ; et/ou
- CS2 : taille de la plus grande zone à remplir de l’image synthétisée ISo inférieure à un seuil, un tel critère signifiant qu’un algorithme d’inpainting parviendra à reconstruire les données manquantes de cette image efficacement ; et/ou
- CS3 : qualité visuelle de l’image synthétisée ISo jugée suffisante, telle que mesurée par exemple par un algorithme d’évaluation objective avec ou sans référence (« full- reference, reduced-reference, no-reference objective metric » en anglais).
Si le critère est respecté, l’image synthétisée ISo est considérée valide et est délivrée pour être stockée en attente d’être affichée par un terminal d’un utilisateur ayant requis cette image et/ou directement affichée par le terminal.
Si le critère n’est pas respecté, en S4o, le module d’analyse M3 transmet au module M1 une information INFo sur les pixels/zones de pixels de l’image synthétisée ISo qui n’ont pas été synthétisé(e)s ou qui n’ont pas étés considéré(e)s comme synthétisé(e)s correctement à l’issue de la phase de traitement d’image PO. Une telle information INFo est contenue dans un message ou une requête dédiée. De façon plus particulière, l’information INFo est représentée sous la forme des coordonnées de ces pixels non ou mal synthétisés selon les critères précités ou bien encore sous la forme d’un pourcentage de pixels non synthétisés. De façon optionnelle, le module d’analyse M3 transmet également en S4o la carte d’occupation OMi ou la carte de confiance CMi générées en S1o.
Le dispositif de synthèse SYNT déclenche alors une nouvelle phase de traitement d’image P1 , afin d’améliorer/raffiner l’image synthétisée ISo qui a été obtenue précédemment.
A cet effet, en S11, le module M1 de génération de données de synthèse génère à nouveau des données de synthèse DSi à partir de données de texture (pixels) d’au moins une des images IVi à IVN. Il peut s’agir par exemple :
- des données de texture Ti utilisées en S1o, et/ou
- de données de texture T) de la composante de texture CTi de la même image IVi mais différentes des données de texture Ti, et/ou
- de données de texture d’une autre image IVk parmi N (1 <k£N).
Comme en S1o, les données de synthèse DSi peuvent être générées également à partir d’au moins une information MD associée à la séquence d’images multi-vues IVi à IVN et/ou d’une ou plusieurs cartes de profondeur CPi à CPN disponibles, associées respectivement aux composantes de texture CTi à CTN des images IVi à IVN. Il peut également s’agir de données de profondeur, de cartes de profondeur partielles, de cartes de contour, etc. utilisées individuellement ou en combinaison, le choix du type de ces données n’étant pas obligatoirement le même que celui utilisé en S1o.
A l’issue de l’étape S11, est obtenue une carte de données de synthèse DSi générée pour ces données de texture. Une telle carte est représentée sur la figure 4B.
La sélection de la/des images pour générer les données de synthèse DSi peut être mise en oeuvre de différentes façons.
Si par exemple les deux composantes de texture CTi et CT2 ont été utilisées pour générer les données de synthèse DSo en S1o, le module M1 de génération de données de synthèse peut être configuré pour sélectionner en S11 les deux composantes de texture CT3 et CÏ4 respectives des images les plus proches IV3 et IV4 des images IV1 et IV2.
Selon un autre exemple, compte tenu du fait que chacune des images IV1 à IVN dispose d’informations capturées différentes de la scène, si le module M1 a utilisé les composantes de texture CTi et CT2 pour générer les données de synthèse DSo en S1o, il peut être configuré pour utiliser en S11 les composantes de texture CTi et CT3 ou encore CT2 et CT3 pour générer les données de synthèse DS-i.
Selon encore un autre exemple, le module M1 peut utiliser simultanément plusieurs composantes de texture, par exemple quatre composantes de texture CT3, CÏ4, CTs, CTe.
Selon encore un autre exemple, le module M1 peut utiliser en plus ou à la place des composantes de texture CTi à CTN, une ou plusieurs images préalablement synthétisée(s). Par exemple, en S11, le module M1 peut utiliser l’image synthétisée ISo pour générer les données de synthèse DSi.
Selon encore un autre exemple, le choix en S11 des données de texture
Figure imgf000021_0001
et/ou P et/ou Tk est conditionné par l’information INFo. Si par exemple l’information INFo est représentative de la localisation d’une ou plusieurs zones d’occlusion dans l’image synthétisée ISo, le module M1 est configuré pour sélectionner en S11 une ou plusieurs composantes de texture d’images plus éloignées que celle(s) utilisées en S1o afin de combler ces zones. Une telle sélection peut être guidée par l’information MD correspondant par exemple à des paramètres de caméra, tel que par exemple l’angle de la caméra et sa position dans la scène.
Lorsque la sélection des données de texture Ti et/ou T’i et/ou Tk est conditionnée par l’information INFo, est représenté ci-dessous, à titre d’exemple uniquement, un tableau Tableaul qui associe à chaque critère de performance de synthèse CS1 à CS3 qui n’est pas rempli, le contenu de l’information INFo correspondante et l’action à mettre en oeuvre en S11 par le module M1 de génération de données de synthèse. [Tableau 1]
Figure imgf000021_0002
Selon un mode de réalisation représenté à la figure 6A, les données de synthèse DSi sont générées d’une manière similaire aux données DSo.
Selon un autre mode de réalisation représenté à la figure 6B, les données de synthèse DSi sont générées en modifiant tout ou partie des données de synthèse DSo avec les données de texture Ti et/ou T’i et/ou Tk.
Selon un autre mode de réalisation représenté à la figure 6C, des données de synthèse intermédiaires DSinti sont générées d’une manière similaire aux données de synthèse DSo. Ces données de synthèse intermédiaires sont alors combinées/fusionnées avec les données de synthèse DSo, fournissant les données de synthèse DS-i.
Pour fusionner les données de synthèse DSo et DSinti, différents modes de réalisation peuvent être mis en oeuvre. Selon un premier mode de réalisation, les données de synthèse manquantes dans une carte de données de synthèse, par exemple la carte contenant les données de synthèse DSinti, sont récupérées parmi les données de synthèse DSo existantes de l’autre carte, ou bien inversement.
Selon un deuxième mode de réalisation, si parmi les données de synthèse DS-i, certaines étaient déjà présentes parmi les données de synthèse DSo et qu’elles sont associées chacune dans la carte de données de synthèse DSi à un degré de confiance supérieur à celui qui leur était associé dans la carte de données de synthèse DSo, ces données de synthèse DSo sont substituées par les données de synthèse DSi correspondantes obtenues en S11. Par exemple, la valeur de SAD peut être calculée par un algorithme de mise en correspondance stéréoscopique qui réalise un appariement entre l’image IVi ou IVk utilisée en S1i pour générer les données de synthèse et une autre image parmi N. Les vecteurs trouvés pour apparier ces deux images sont issus d’une estimation de mouvement qui retourne un niveau de corrélation SAD qui est considéré comme un exemple de degré de confiance.
Selon un troisième mode de réalisation, si parmi les données de synthèse DSi, certaines étaient déjà présentes parmi les données de synthèse DSo, et que ces données de synthèse DSi sont des valeurs de profondeur associées à des éléments situés par exemple au premier plan de la scène, alors que les données de synthèse DSo déjà présentes sont des valeurs de profondeur associées à des éléments situés par exemple à l’arrière-plan de la scène, ces données de synthèse DSo sont substituées par ces données de synthèse DSi, de manière à conserver les informations d’un plan de profondeur en priorité (dans cet exemple, le premier plan de la scène).
La phase de traitement d’image P1 se poursuit par un calcul S2i, par le module de calcul M2 de la figure 2, d’une nouvelle image d’une vue synthétisée IS-i. Comme en S2o, le calcul S2i est mis en oeuvre par un algorithme de synthèse classique, tel que par exemple RVS ou VVS. Un exemple d’image synthétisée ISi est représenté à la figure 4B.
Selon un premier mode de réalisation de la synthèse S2i représenté en figure 7A, le module de calcul M2 modifie l’image synthétisée ISo calculée en S2o, au moins à partir des données de synthèse DSi générées en S11. Au moins une image parmi les images IVi à IVN peut également être utilisée lors de cette modification.
Selon un deuxième mode de réalisation représenté en figure 7B, le module de calcul M2 calcule une image synthétisée intermédiaire ISinti à partir des données de synthèse DSi obtenues en S1i et éventuellement d’une ou plusieurs images IVi à IVN, puis combine l’image synthétisée intermédiaire ISinti avec l’image synthétisée ISo calculée précédemment en S2o pour générer une image synthétisée IS-i.
Il existe différentes manières de combiner les images synthétisées ISinti et ISo.
Selon un premier mode de réalisation, l’image synthétisée ISi est obtenue en récupérant les pixels manquants dans une image synthétisée parmi les images ISinti et ISo, par exemple l’image ISinti, parmi les pixels existants dans l’image ISo.
Selon un deuxième mode de réalisation, dans le cas où des pixels synthétisés dans l’image ISinti sont également présents dans l’image ISo, dans la même position, l’image de synthèse ISi est obtenue en sélectionnant parmi les images ISinti et ISo, le pixel synthétisé commun qui est associé au degré de confiance le plus élevé à l’aide de la carte de confiance CM précitée.
Selon un troisième mode de réalisation, dans le cas où des pixels synthétisés dans l’image ISinti sont également présents dans l’image ISo dans la même position, l’image de synthèse ISi est obtenue en sélectionnant parmi les images ISinti et ISo, le pixel synthétisé commun qui est associé à un plan de profondeur en priorité, le premier plan de la scène par exemple.
La phase de traitement d’image P1 se poursuit par une analyse, en S3i, de l’image synthétisée ISi par rapport à un critère de performance de synthèse CS, au moyen du module d’analyse M3 de la figure 2.
Les critères de performance utilisés dans la phase de traitement d’image P1 peuvent être les mêmes que les critères CS1 à CS3 précités. Deux autres critères suivants peuvent également être considérés de manière non exhaustive :
-CS4 : qualité de la cohérence temporelle entre l’image synthétisée ISi et l’image synthétisée ISo jugée suffisante ; et/ou
-CS5 : la valeur de certains pixels synthétisés dans l’image synthétisée ISi est égale ou sensiblement égale à celle de certains pixels synthétisés de même position respective dans l’image synthétisée ISo, amenant à deux images synthétisées semblables.
Si le/les critères CS1 à CS5 est/sont respecté(s), l’image synthétisée ISi est considérée valide et est délivrée pour être stockée en attente d’être affichée par un terminal d’un utilisateur ayant requis cette image et/ou directement affichée par le terminal.
Si le/les critère(s) CS1 à CS5 n’est/ne sont pas respecté(s), le module d’analyse M3 transmet en S4i au module M1 une information INF1. Si l’analyse S3i de l’image synthétisée IS1 utilise le critère de performance de synthèse CS4, l’information INF1 contient les coordonnées des pixels de la/des zone(s) de l’image synthétisée IS1 considérés comme manquant de cohérence temporelle avec les pixels de position correspondante dans l’image synthétisée ISo. Si l’analyse S3i de l’image synthétisée IS1 utilise le critère de performance de synthèse CS5, l’information IN Fi contient les coordonnées des pixels de la/des zone(s) de l’image synthétisée IS1 considérés comme manquant de cohérence pixellique avec les pixels de position correspondante dans l’image synthétisée ISo.
Le dispositif de synthèse SYNT déclenche alors une nouvelle phase de traitement d’image P2 similaire à la phase de traitement d’image P1 , afin d’améliorer/raffiner/compléter encore davantage l’image synthétisée IS1 qui a été obtenue précédemment.
Il convient de noter qu’à partir de la phase de traitement d’image P2, si la sélection de telles ou telles données de texture est conditionnée par l’information INF1, les critères CS4 et CS5 précités peuvent être considérés pour générer de nouvelles données de synthèse DS2. A cet effet, est représenté ci-dessous, à titre d’exemple uniquement, un tableau Tableau2 qui associe à chaque critère de performance de synthèse CS1 à CS5 qui n’est pas rempli, le contenu de l’information INF1 correspondante et l’action à mettre en oeuvre en P2 par le module M1 de génération de données de synthèse.
[Tableau 2]
Figure imgf000024_0001
Figure imgf000025_0001
Conformémen à l’invention, une phase de traitement d’image peut être itérée tant qu’un ou plusieurs critère(s) de performance de synthèse n’est/ne sont pas respecté(s).
En référence à la figure 1 , et de manière générale, une phase de traitement d’image courante Pc se déroule de la manière suivante :
En Sic, le module M1 de génération de données de synthèse génère à nouveau des données de synthèse DSc à partir de données de texture (pixels) d’au moins une des images IV1 à IVN. Il peut s’agir par exemple :
- des données de texture Ti, T’i. Tk déjà utilisées dans les étapes de génération de données de synthèse précédentes, et/ou
- de données de texture de la composante de texture d’au moins une image qui a déjà été utilisée dans les étapes de génération de données de synthèse précédentes, mais qui diffèrent des données de texture déjà utilisées pour cette composante de texture, et/ou
- de données de texture d’une autre image IVm parmi N (1 <m£N).
Comme en S1o et en S1i, les données de synthèse DSc peuvent être générées également à partir d’au moins une information MD associée à la séquence d’images multi-vues IV1 à IVN et/ou d’une ou plusieurs cartes de profondeur CPi à CPN disponibles, associées respectivement aux composantes de texture CTi à CTN des images IV1 à IVN. Il peut également s’agir de données de profondeur, de cartes de profondeur partielles, de cartes de contour, etc. utilisées individuellement ou en combinaison, le choix du type de ces données n’étant pas obligatoirement le même que celui utilisé dans les étapes de génération de données de synthèse précédentes S1 o, S11, etc..
La sélection de la/des images pour générer les données de synthèse DSc est mise en oeuvre de la même manière que dans les modes de réalisation précités.
En particulier, le module M1 de génération de données de synthèse peut être configuré pour sélectionner en Sic une ou plusieurs composantes de texture des images IVi à IVN qui, selon le résultat de l’analyse des images synthétisées effectuée dans les phases de traitement d’image précédentes, peuvent être plus proches ou plus éloignées des images déjà utilisées dans les phases de traitement d’image précédentes.
Selon encore un autre exemple, le module M1 peut utiliser en plus ou à la place des composantes de texture CTi à CTN, une ou plusieurs images ISo, ISi , ...déjà synthétisée(s) lors des phases de traitement précédentes.
Comme déjà expliqué plus haut, le choix en S1c des données de texture peut être conditionné par l’information INFc-i, ce choix pouvant être également complété par les informations INFo, INF-i, ... générées à l’issue des étapes de calcul d’images de synthèse ISo, ISi,... respectivement. La sélection des nouvelles données de texture se basera sur les critères du tableau Tableau2 mentionné plus haut en considérant l’image lc-i synthétisée lors de la phase de traitement d’image précédente Pc-1 , au regard d’au moins une des autres images ISo, ISi,... déjà synthétisées lors des phases de traitement précédentes.
Comme déjà expliqué lors de la description de l’étape S11, les données de synthèse DSc peuvent être générées en Sic en modifiant, à l’aide des données de texture Ti et/ou T’i et/ou Tk et/ou Tm utilisées en entrée du module M1 , tout ou partie des données de synthèse DSc-i générées dans la phase de traitement d’image précédente Pc-i, mais aussi les données de synthèse DSo, DS-i, ...avant la phase Pc- 1.
Comme déjà expliqué plus haut, lors de la description de l’étape S1o, selon un mode de réalisation, la génération Sic des données de synthèse peut-être mise en oeuvre à partir d’un seuil qui est par exemple une valeur de distorsion SAD. La valeur de distorsion SAD peut être la même à chaque itération. Toutefois, une telle valeur SAD peut-être variable. Dans les premières phases de traitement d’image PO, P1 , P2, la valeur SAD requise est par exemple la plus faible possible et est augmentée dans les phases de traitement suivantes, par exemple à partir de la phase de traitement d’image courante Pc. Selon un autre exemple, la valeur SAD peut être augmentée progressivement à chaque itération d’une phase de traitement d’image.
De façon similaire à la phase de traitement d’image P1 précitée, la phase de traitement d’image courante Pc se poursuit par un calcul S2C, par le module de calcul M2 de la figure 2, d’une nouvelle image d’une vue synthétisée ISc. Comme déjà expliqué précédemment, le calcul S2C est mis en oeuvre par un algorithme de synthèse classique, tel que par exemple RVS ou VVS.
Comme déjà expliqué lors de la description de l’étape S2i, selon un premier mode de réalisation, le module de calcul M2 modifie l’image synthétisée ISc-i obtenue lors de la phase de traitement d’image précédente Pc-i, au moins à partir des données de synthèse DSc générées en Sic. Au moins une image parmi les images IVi à IVN peut également être utilisée lors de cette modification. Selon un deuxième mode de réalisation, le module de calcul M2 calcule une image synthétisée intermédiaire ISint c à partir des données de synthèse DSc obtenues en Sic et éventuellement d’une ou plusieurs images IVi à IVN, puis combine l’image synthétisée intermédiaire ISint c avec l’image synthétisée ISc-i calculée précédemment dans la phase de traitement d’image précédente Pc-1 et éventuellement avec une ou plusieurs images ISo,
ISi,.... déjà synthétisées avant la phase de traitement d’image précédente Pc-1.
La phase de traitement d’image Pc se poursuit par une analyse, en S3c, de l’image synthétisée ISc par rapport à un critère de performance de synthèse CS, au moyen du module d’analyse M3 de la figure 2.
Les critères de performance utilisés dans la phase de traitement d’image Pc sont les critères CS1 à CS5 précités. Si un ou plusieurs de ces critères est/sont respecté(s), l’image synthétisée ISc est considérée valide et est délivrée pour être stockée en attente d’être affichée par un terminal d’un utilisateur ayant requis cette image et/ou directement affichée par le terminal. Si un ou plusieurs de ces critères n’est/ne sont pas respecté(s), le module d’analyse M3 transmet en S4C au module M1 une information INFC. Une nouvelle phase de traitement d’image Pc+1 est alors déclenchée.

Claims

REVENDICATIONS
[Revendication 1 ] Procédé de synthèse d’une image d’une vue à partir de données d’une vidéo multi-vues, mis en oeuvre dans un dispositif de synthèse d’image, le procédé comprenant une phase de traitement d’image comme suit :
- générer (S1 o) des données de synthèse d’image (DSo) à partir de données de texture d’au moins une image d’une vue de la vidéo multi-vues,
- calculer (S2o) une image (ISo) d’une vue synthétisée à partir desdites données de synthèse générées et à partir d’au moins une image d’une vue de la vidéo multi-vues,
- analyser (S3o) l’image de ladite vue synthétisée par rapport à un critère de performance de synthèse (CS),
- si ledit critère est respecté, délivrer l’image de ladite vue synthétisée,
- sinon, itérer ladite phase de traitement, l’étape de calcul (S2C) d’une image d’une vue synthétisée (ISc) à une itération courante comprenant la modification, à partir de données de synthèse (DSc) générées à l’itération courante, d’une image de la vue synthétisée calculée lors d’une phase de traitement précédant l’itération courante.
[Revendication 2] Procédé de synthèse selon la revendication 1 , dans lequel, à l’itération courante, une image d’une vue utilisée pour générer les données de synthèse est sélectionnée en fonction du résultat de l’analyse de l’image de la vue synthétisée modifiée lors d’une phase de traitement précédant l’itération courante.
[Revendication 3] Procédé de synthèse selon la revendication 1 ou la revendication 2, dans lequel à l’itération courante, la génération des données de synthèse utilise les données de synthèse générées lors d’une phase de traitement précédant l’itération courante.
[Revendication 4] Procédé de synthèse selon la revendication 3, dans lequel à l’itération courante, la génération de données de synthèse comprend une modification des données de synthèse générées lors d’une phase de traitement précédant l’itération courante, à partir de données de texture utilisées à l’itération courante.
[Revendication 5] Procédé de synthèse selon la revendication 3, dans lequel les données de synthèse générées à l'itération courante sont combinées avec des données de synthèse générées lors d’une phase de traitement précédant l’itération courante.
[Revendication 6] Procédé de synthèse selon l’une quelconque des revendications 1 à 5, dans lequel les données de synthèse générées au cours d’une phase de traitement appartiennent au groupe comprenant :
- des données de profondeur associées aux données de texture de l’image de la vue de la vidéo multi-vues utilisées dans ladite phase de traitement,
- des données de contour associées aux données de texture de l’image de la vue de la vidéo multi-vues utilisées dans ladite phase de traitement,
- un élément visuel de l’image de la vue de la vidéo multi-vues utilisée dans ladite phase de traitement, ledit élément visuel ne variant pas d’une image d’une vue de la vidéo multi-vues à l’autre,
- des données statistiques calculées sur des données de texture de l’image de la vue de la vidéo multi-vues utilisées dans ladite phase de traitement.
[Revendication 7] Procédé de synthèse selon l’une quelconque des revendications 1 à 6, dans lequel les données de synthèse générées au cours d’une phase de traitement sont associées à une valeur d’incertitude sur la corrélation desdites données de synthèse avec les données de texture correspondantes de ladite au moins une image de ladite vue qui ont été utilisées pour générer lesdites données de synthèse.
[Revendication 8] Procédé de synthèse selon l’une quelconque des revendications 1 à 7, dans lequel, au cours d’une phase de traitement, la génération de données de synthèse utilise au moins une image de profondeur d’une vue de la vidéo multi-vues et/ou au moins une information associée à la vidéo multi-vues.
[Revendication 9] Procédé de synthèse selon l’une quelconque des revendications 1 à 8, dans lequel à l’itération courante, la modification de l’image de la vue synthétisée calculée à une itération précédente utilise des données de synthèse générées précédemment à l’itération courante.
[Revendication 10] Procédé de synthèse selon l’une quelconque des revendications 1 à 9, dans lequel à l’itération courante, la modification de l’image de la vue synthétisée calculée à une itération précédente comprend le calcul d’une image d’une vue synthétisée à partir desdites données de synthèse générées à l’itération courante et de l’image de ladite vue synthétisée calculée à ladite itération précédente.
[Revendication 11 ] Procédé de synthèse selon l’une quelconque des revendications 1 à 9, dans lequel à l’itération courante, la modification de l’image de la vue synthétisée calculée à une itération précédente comprend ce qui suit :
- calculer une image d’une vue synthétisée à partir desdites données de synthèse générées à l’itération courante et à partir de l’image d’une vue de la vidéo multi-vues, - combiner l’image de ladite vue synthétisée calculée avec l’image de la vue synthétisée calculée à ladite itération précédente.
[Revendication 12] Procédé de synthèse selon l’une quelconque des revendications 1 à 11 , dans lequel l’itération courante est mise en oeuvre en réponse à un message du dispositif de synthèse, ledit message contenant :
- soit des informations de localisation d’une ou plusieurs zones/d’un ou plusieurs pixels de l’image de la vue synthétisée calculée précédemment à l’itération courante, qui ne respectent pas le critère de performance de synthèse,
- soit un pourcentage de pixels non synthétisés de l’image de la vue synthétisée précédemment à l’itération courante.
[Revendication 13] Procédé de synthèse selon la revendication 7 et la revendication 12, dans lequel l’itération courante est mise en oeuvre en outre en réponse à la réception de valeurs d’incertitude associées aux données de synthèse générées à l’itération précédente.
[Revendication 14] Dispositif de synthèse d’une image d’une vue à partir de données d’une vidéo multi-vues, ledit dispositif comprenant un processeur (UT_S) qui est configuré pour mettre en oeuvre ce qui suit :
- mettre en oeuvre une phase de traitement d’image comme suit :
-- générer des données de synthèse d’image à partir de données de texture d’au moins une image d’une vue de la vidéo multi-vues,
-- calculer une image d’une vue synthétisée à partir desdites données de synthèse générées et à partir d’au moins une image d’une vue de la vidéo multi-vues,
- analyser l’image de ladite vue synthétisée par rapport à un critère de performance de synthèse,
-- si ledit critère est respecté, délivrer l’image de ladite vue synthétisée,
-- sinon, itérer la phase de traitement, le calcul d’une image d’une vue synthétisée à une itération courante comprenant la modification, à partir de données de synthèse générées à l’itération courante, d’une image de la vue synthétisée calculée lors d’une phase de traitement précédant l’itération courante.
[Revendication 15] Procédé de décodage d’un signal de données codées d’une vidéo multi-vues, mis en oeuvre dans un dispositif de décodage d’image, comprenant ce qui suit :
- décoder des images de plusieurs vues codées, produisant un ensemble d’images de plusieurs vues décodées,
- synthétiser une image d’une vue à partir dudit ensemble d’images conformément au procédé de synthèse selon l’une quelconque des revendications 1 à 13.
[Revendication 16] Procédé de décodage selon la revendication 15, dans lequel les données de synthèse sont générées à partir de données de texture d’au moins une des images décodées dudit ensemble.
[Revendication 17] Procédé de décodage selon la revendication 15, dans lequel les données de synthèse étant préalablement codées, elles sont générées comme suit :
- lire les données de synthèse codées dans ledit signal de données ou dans un autre signal de données, - décoder les données de synthèse lues.
[Revendication 18] Dispositif de décodage d’un signal de données codées d’une vidéo multi-vues, ledit dispositif de décodage comprenant un processeur (UT_D) qui est configuré pour mettre en oeuvre ce qui suit :
- décoder des images de plusieurs vues codées, produisant un ensemble d’images de plusieurs vues décodées,
- synthétiser une image d’une vue à partir de données d’une vidéo multi-vues, conformément au procédé de synthèse selon l’une quelconque des revendications 1 à 13.
[Revendication 19] Programme d'ordinateur comportant des instructions de code de programme pour la mise en oeuvre du procédé de synthèse selon l’une quelconque des revendications 1 à 13 ou du procédé de décodage selon l’une quelconque des revendications 15 à 17, lorsqu'il est exécuté sur un ordinateur.
[Revendication 20] Support d'informations lisible par un ordinateur, et comportant des instructions d'un programme d'ordinateur selon la revendication 19.
PCT/FR2020/052454 2020-01-02 2020-12-15 Synthese iterative de vues a partir de donnees d'une video multi-vues WO2021136895A1 (fr)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US17/790,301 US20230053005A1 (en) 2020-01-02 2020-12-15 Iterative synthesis of views from data of a multi-view video
EP20845681.4A EP4085613A1 (fr) 2020-01-02 2020-12-15 Synthese iterative de vues a partir de donnees d'une video multi-vues

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR2000015A FR3106014A1 (fr) 2020-01-02 2020-01-02 Synthèse itérative de vues à partir de données d’une vidéo multi-vues
FRFR2000015 2020-01-02

Publications (1)

Publication Number Publication Date
WO2021136895A1 true WO2021136895A1 (fr) 2021-07-08

Family

ID=70456900

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/FR2020/052454 WO2021136895A1 (fr) 2020-01-02 2020-12-15 Synthese iterative de vues a partir de donnees d'une video multi-vues

Country Status (4)

Country Link
US (1) US20230053005A1 (fr)
EP (1) EP4085613A1 (fr)
FR (1) FR3106014A1 (fr)
WO (1) WO2021136895A1 (fr)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017080420A1 (fr) * 2015-11-09 2017-05-18 Versitech Limited Données auxiliaires pour synthèse de vues sensible aux artéfacts

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8144161B2 (en) * 2006-12-08 2012-03-27 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Texture synthesis
EP2777266B1 (fr) * 2011-11-11 2018-07-25 GE Video Compression, LLC Codage multivue avec exploitation de sections pouvant être rendues
WO2013068457A1 (fr) * 2011-11-11 2013-05-16 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Concept pour déterminer une mesure d'un changement de distorsion dans une vue synthétisée dû à des modifications de carte de profondeur
EP2777256B1 (fr) * 2011-11-11 2017-03-29 GE Video Compression, LLC Codage multivue avec gestion effective de sections pouvant être rendues
US20130271565A1 (en) * 2012-04-16 2013-10-17 Qualcomm Incorporated View synthesis based on asymmetric texture and depth resolutions
US9571809B2 (en) * 2013-04-12 2017-02-14 Intel Corporation Simplified depth coding with modified intra-coding for 3D video coding
US20160050440A1 (en) * 2014-08-15 2016-02-18 Ying Liu Low-complexity depth map encoder with quad-tree partitioned compressed sensing
US9710898B2 (en) * 2015-11-18 2017-07-18 Adobe Systems Incorporated Image synthesis utilizing an active mask
US10257501B2 (en) * 2016-04-06 2019-04-09 Facebook, Inc. Efficient canvas view generation from intermediate views
US10217265B2 (en) * 2016-07-07 2019-02-26 Disney Enterprises, Inc. Methods and systems of generating a parametric eye model
US10776982B2 (en) * 2017-07-03 2020-09-15 Artomatix Ltd. Systems and methods for providing non-parametric texture synthesis of arbitrary shape and/or material data in a unified framework

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017080420A1 (fr) * 2015-11-09 2017-05-18 Versitech Limited Données auxiliaires pour synthèse de vues sensible aux artéfacts

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
DONG TIAN ET AL: "View synthesis techniques for 3D video", APPLICATIONS OF DIGITAL IMAGE PROCESSING XXXII, 2 September 2009 (2009-09-02), San Diego, CA, pages 74430T, XP055041884, DOI: 10.1117/12.829372 *
JUNG YONG JU ET AL: "Critical Binocular Asymmetry Measure for the Perceptual Quality Assessment of Synthesized Stereo 3D Images in View Synthesis", IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY, INSTITUTE OF ELECTRICAL AND ELECTRONICS ENGINEERS, US, vol. 26, no. 7, 1 July 2016 (2016-07-01), pages 1201 - 1214, XP011616460, ISSN: 1051-8215, [retrieved on 20160707], DOI: 10.1109/TCSVT.2015.2430632 *
NDJIKI-NYA P ET AL: "Depth Image-Based Rendering With Advanced Texture Synthesis for 3-D Video", IEEE TRANSACTIONS ON MULTIMEDIA, IEEE SERVICE CENTER, US, vol. 13, no. 3, 1 June 2011 (2011-06-01), pages 453 - 465, XP011479793, ISSN: 1520-9210, DOI: 10.1109/TMM.2011.2128862 *

Also Published As

Publication number Publication date
EP4085613A1 (fr) 2022-11-09
US20230053005A1 (en) 2023-02-16
FR3106014A1 (fr) 2021-07-09

Similar Documents

Publication Publication Date Title
WO2010007285A1 (fr) Procede et dispositif de remplissage des zones d&#39;occultation d&#39;une carte de profondeur ou de disparites estimee a partir d&#39;au moins deux images
EP1473944A2 (fr) Procédé de tatouage d&#39;une séquence vidéo à sélection adaptative de la zone d&#39;insertion du tatouage, procédé de détection, dispositifs, support de données et programmes d&#39;ordinateur correspondants.
FR2974966A1 (fr) Procede de codage et de decodage d&#39;images integrales, dispositif de codage et de decodage d&#39;images integrales et programmes d&#39;ordinateur correspondants
EP3788789A2 (fr) Procede et dispositif de traitement d&#39;images et procede et dispositif de decodage d&#39;une video multi-vue adaptés
WO2010043809A1 (fr) Prediction d&#39;une image par compensation en mouvement en avant
EP3198876B1 (fr) Génération et codage d&#39;images intégrales résiduelles
EP0545475B1 (fr) Méthodes et dispositifs de synthèse de signaux de texture
EP3878170A1 (fr) Synthèse de vues
EP4085613A1 (fr) Synthese iterative de vues a partir de donnees d&#39;une video multi-vues
WO2021214395A1 (fr) Procédés et dispositifs de codage et de décodage d&#39;une séquence vidéo multi-vues
EP3158749B1 (fr) Procédé de codage et de décodage d&#39;images, dispositif de codage et de décodage d&#39;images et programmes d&#39;ordinateur correspondants
EP3861751A1 (fr) Codage et décodage d&#39;une vidéo omnidirectionnelle
FR2856548A1 (fr) Procede de representation d&#39;une sequence d&#39;images par modeles 3d, signal et dispositifs correspondants
FR2934453A1 (fr) Procede et dispositif de masquage d&#39;erreurs
WO2020188172A1 (fr) Procédés et dispositifs de codage et de décodage d&#39;une séquence vidéo multi-vues
WO2021160955A1 (fr) Procédé et dispositif de traitement de données de vidéo multi-vues
EP3725080A1 (fr) Procédés et dispositifs de codage et de décodage d&#39;une séquence vidéo multi-vues représentative d&#39;une vidéo omnidirectionnelle
EP3991401A1 (fr) Procédé et dispositif de traitement de données de video multi-vues
WO2022269163A1 (fr) Procédé de construction d&#39;une image de profondeur d&#39;une vidéo multi-vues, procédé de décodage d&#39;un flux de données représentatif d&#39;une vidéo multi-vues, procédé de codage, dispositifs, système, équipement terminal, signal et programmes d&#39;ordinateur correspondants
EP4222950A1 (fr) Codage et decodage d&#39;une video multi-vues
FR2945698A1 (fr) Procede et dispositif de codage d&#39;une sequence video
WO2023247208A1 (fr) Procede de segmentation d&#39;une pluralite de donnees, procede de codage, procede de decodage, dispositifs, systemes et programme d&#39;ordinateur correspondants
FR3036016A1 (fr) Codage/decodage predictif d&#39;images comportant un artefact, utilisant une extrapolation
Jantet Layered Depth Images for Multi-View Coding
Dumont et al. Plane Sweeping in Eye-Gaze Corrected, Teleimmersive 3D Videoconferencing

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20845681

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2020845681

Country of ref document: EP

Effective date: 20220802