WO2012080648A1 - Procédé et dispositif servant à optimiser la visualisation d'images stéréoscopiques - Google Patents

Procédé et dispositif servant à optimiser la visualisation d'images stéréoscopiques Download PDF

Info

Publication number
WO2012080648A1
WO2012080648A1 PCT/FR2011/052958 FR2011052958W WO2012080648A1 WO 2012080648 A1 WO2012080648 A1 WO 2012080648A1 FR 2011052958 W FR2011052958 W FR 2011052958W WO 2012080648 A1 WO2012080648 A1 WO 2012080648A1
Authority
WO
WIPO (PCT)
Prior art keywords
criterion
value
viewing
conservation
parameters
Prior art date
Application number
PCT/FR2011/052958
Other languages
English (en)
Inventor
Jérôme Fournier
Wei Chen
Jean-Charles Gicquel
Original Assignee
France Telecom
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by France Telecom filed Critical France Telecom
Publication of WO2012080648A1 publication Critical patent/WO2012080648A1/fr

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof

Definitions

  • the invention relates to the field of producing and viewing stereoscopic images.
  • the relief printing obtained when viewing stereoscopic images depends on shooting conditions and viewing conditions.
  • the shooting conditions can be characterized by three main parameters: the inter-camera distance (also called center distance), the focal length of the cameras and the convergence distance two cameras.
  • the viewing conditions can also be characterized by three main parameters: the size of the screen, the viewing distance and the inter-pupillary distance. Other parameters can also be taken into account (camera sensor size, etc.).
  • the invention proposes a method for evaluating a stereoscopic image production and display line of a scene, implemented by a computer, comprising: a step of obtaining shooting parameters and visualization parameters characterizing said production and visualization chain, a step of evaluating a criterion of viewing quality according to said shooting parameters and said display parameters, and
  • the visualization quality criterion includes a comfort evaluation criterion evaluated by verifying that, for any real depth of the scene, the depth restored is within a predetermined interval.
  • the visualization quality criterion may furthermore comprise a criterion of conservation of the shapes or dimensions and the method may comprise:
  • the invention proposes a device for evaluating a production line and for viewing stereoscopic images of a scene, comprising:
  • said viewing quality criterion comprises a viewing comfort criterion evaluated by verifying that, for any real depth of the scene, the rendered depth is within a predetermined range.
  • the visualization quality criterion may furthermore comprise a criterion of conservation of shapes or dimensions and that the device may comprise:
  • the visual comfort criterion proposed by the invention is a criterion that takes into account the depth of focus of the human eye (or DOF for "Depth Of Focus ”) depending on the viewing distance.
  • DOF Dept of Focus
  • the functions of accommodation and convergence of the human visual system are correlated.
  • the present invention considers that the accommodation and convergence functions of the human visual system must also remain correlated when viewing stereoscopic images.
  • the viewing comfort criterion can be estimated by verifying that, for any real depth of the scene, the depth restored is within a predetermined interval.
  • the comfort criterion of visualization is evaluated by:
  • the comfort criterion of visualization is evaluated by:
  • the two aforementioned techniques make it possible to easily evaluate the criterion of viewing comfort, especially when the shooting parameters specify the real depths of the foreground and the background of the scene.
  • the comfort criterion of visualization is evaluated by:
  • a step of comparing a maximum horizontal disparity of the stereoscopic images with said disparity thresholds can be determined by image analysis.
  • the evaluation method comprises an optimization step including the determination of an optimized value of at least one shooting parameter making it possible to check the quality of display criterion.
  • the optimization step may include:
  • the invention proposes a prioritization of visualization quality criteria by imposing that the criterion of viewing comfort is verified as a priority by the optimized value or values. Verification of other criteria such as conservation criteria of shapes and / or dimensions is considered less of a priority.
  • the first value may be a center distance value representing a threshold beyond which the comfort criterion of visualization is not satisfied, said at least one second value comprising a value of center distance for which the criterion of conservation of shapes and / or dimensions is satisfied, the selection step comprising the selection of a minimum value.
  • the first value may be a difference representing a threshold below which the comfort criterion of visualization is not satisfied, said at least one second value comprising a difference for which the criterion of conservation of the forms is satisfied, the step of selection comprising selection of a maximum deviation.
  • the first value may be a focal value representing a threshold beyond which the comfort criterion of visualization is not satisfied, said at least one second value comprising a focal value for which the criterion of conservation of the forms is satisfied and a focal value for which the criterion of conservation of dimensions is satisfied, the selection step comprising the selection of a minimum value
  • the evaluation method may include a step of displaying said optimized value on a man / machine interface.
  • the user can take into account the displayed values to set a camera.
  • the evaluation method may comprise a step of controlling a camera according to said optimized value.
  • the obtaining step may include obtaining shooting parameters and / or stereoscopic images on the part of of the camera, said optimized value being determined according to the shooting parameters and / or stereoscopic images obtained from the camera.
  • a camera is automatically adjusted according to the optimized value (s).
  • the optimization step may comprise a step of determining an optimized value of an interval and a step of determining an optimized value of a convergence distance of a camera, depending on a determined focal length.
  • This variant is particularly interesting in the case of a shooting where a cameraman can impose a focal length.
  • the optimization step may comprise a step of determining an optimized value of at least a shooting distance, a convergence distance and a focal distance of a camera according to of a fixed distance.
  • This variant is particularly interesting in the case of a shooting with a camera comprising two objectives fixed with respect to each other, whose center distance can not be changed.
  • the optimization step may comprise a step of determining an optimized value of a focal length of a camera according to a determined spacing and a convergence distance.
  • the obtaining step comprises obtaining metadata associated with stereoscopic images, said metadata including at least some of said shooting parameters of said stereoscopic images.
  • the invention also relates to a computer program comprising instructions for performing the steps of an evaluation method according to the invention when said program is executed by a computer.
  • This program can use any programming language, and be in the form of source code, object code, or intermediate code between source code and object code, such as in a partially compiled form, or in any other form desirable shape.
  • the invention also relates to a recording medium or information carrier readable by a computer, and comprising instructions of a computer program as mentioned above.
  • the recording media mentioned above can be any entity or device capable of storing the program.
  • the medium may include storage means, such as a ROM, for example a CD ROM or a circuit ROM microelectronics, or a magnetic recording means, for example a diskette (floppy disk) or a hard disk.
  • the recording media may correspond to a transmissible medium such as an electrical or optical signal, which may be conveyed via an electrical or optical cable, by radio or by other means.
  • the program according to the invention can be downloaded in particular on an Internet type network.
  • the recording media may correspond to an integrated circuit in which the program is incorporated, the circuit being adapted to execute or to be used in the execution of the method in question.
  • FIG. 1 is a schematic view of a stereoscopic image production and display chain
  • FIG. 2 represents an evaluation device according to one embodiment of the invention
  • FIG. 3 represents the main steps of an evaluation method according to one embodiment of the invention.
  • FIG. 4 illustrates steps for evaluating a comfort criterion of visualization
  • FIGS. 5 to 8 show examples of applications of the evaluation device of FIG. 2,
  • FIGS. 9 to 11 show examples of the progress of the optimization step of the evaluation method of FIG. 3.
  • Figures 12 and 13A and 13B are tables showing formulas used in space modeling rendered by a stereoscopic image production and display chain.
  • stereoscopic images may notably be still images (for example, photographs or drawings) or variable images (cinema, television, etc.).
  • FIG. 1 schematically represents a production and display line 1 of stereoscopic images.
  • a scene 2 is filmed by a camera 3 in three dimensions.
  • the images filmed by the camera 3 are transmitted to a viewing apparatus 4 where they are viewed by a viewer 5.
  • the camera 3 comprises for example two cameras mounted on a support called “Rig 3D" to adjust the distance between the cameras and the convergence distance of the cameras.
  • the camera 3 comprises a camera with two objectives fixed with respect to each other. The distance between the two cameras or between the two lenses of the single camera is called “center distance”.
  • the display apparatus 4 comprises a screen configured to implement a stereoscopic image display technique.
  • the stereoscopic images filmed by the camera 3 are transmitted by a telecommunications network to the viewing apparatus 4.
  • the stereoscopic images filmed by the camera 3 are stored on an information medium, for example an optical disk, and the information medium is read by a reader connected to the screen of the display apparatus 4.
  • the production and display chain 1 can be characterized by different parameters.
  • the scene 2 and the camera 3 can be characterized by shooting parameters.
  • the viewing of the images on the display apparatus 4 may be characterized by viewing parameters.
  • special or artistic effects desired by the creator of the stereoscopic images may be characterized by effect parameters.
  • Shooting settings can include:
  • dforegraund the distance (or depth) of the foreground of scene 2
  • d b ackgraund the distance (or depth) of the background of scene 2
  • D R oi the distance of interest from scene 2
  • f the focal length of the cameras of the camera 3
  • b the center distance of the camera 3
  • W sensor camera sensor width of the camera shooting 3, the camera sensor definition of the camera shooting 3, a: the camera convergence angle of the camera shooting camera view 3,
  • Visualization parameters can include:
  • M a magnification factor of the image (ratio between the size of the display screen and that of the camera sensor).
  • Effect parameters can include: ⁇ : a factor representing a distortion effect of the depth (compression, stretching), and
  • ⁇ a factor representing a distortion effect of the proportion of objects (gigantism, miniaturization).
  • the aforementioned parameters influence the relief rendered by the display apparatus 4.
  • the present invention proposes to evaluate a stereoscopic image production and display chain.
  • the present invention also proposes optimizing a stereoscopic image production and display chain.
  • FIG. 2 an evaluation device 10 according to the invention is described.
  • the evaluation device 10 presents the hardware architecture of a computer. It comprises in particular a microprocessor 11, a non-volatile memory 12, a volatile memory 13, a man / machine interface 14 and a communication unit 15.
  • the microprocessor 11 makes it possible to execute programs stored in the non-volatile memory 12, using the volatile memory 13.
  • the man / machine interface 14 allows for example a user of the evaluation device 10 to enter data and read information.
  • the communication unit 15 allows the evaluation device 10 to communicate with other equipment.
  • the non-volatile memory 12 comprises a computer program that allows the implementation of an evaluation method according to the invention when it is executed by the microprocessor 11.
  • the non-volatile memory 12 is therefore an example information carrier according to the invention.
  • the evaluation device could also be implemented in any equipment constituting an end-to-end video chain (stereoscopic camera, encoder, decoder, television, etc.).
  • Figure 3 shows the main steps of an evaluation method according to the invention. More specifically, Figure 3 relates to a variant in which the evaluation device 10 also performs an optimization.
  • step E1 the evaluation device 10 obtains parameters characterizing a stereoscopic image production and display chain.
  • the obtained parameters may include all or part of the shooting parameters, viewing parameters and the aforementioned effects parameters.
  • FIGS. 5 to 8 various embodiments of step E1 for obtaining the parameters are described in greater detail below.
  • step E2 the evaluation device 10 determines parameters characterizing the relief restored by the production and display chain, as a function of the parameters obtained in step E1.
  • the evaluation device 10 models the relief rendered in a reference frame denoted by R (0, X, Y, Z) relative to the real relief in a reference frame denoted r (o, x, y, z).
  • the tables of FIGS. 13A and 13B indicate the corresponding equations, in the case of a physical convergence shot (angle of convergence ⁇ 0 °) between the optical axes of the real or virtual cameras used for the generation of synthetic contents ( animation films, etc.).
  • the parameters determined by the evaluation device 10 in step E2 are for example:
  • the depth distortion D z as a function of the actual depth z.
  • the shape error D xz as a function of the actual depth z.
  • the maximum horizontal disparity of Hm ax is present on stereoscopic images.
  • the maximum vertical disparity d V max present on stereoscopic images.
  • the optimal viewing distance E opt The optimal viewing distance
  • Z, D x , D Y , D z , and D xz are functions that vary with z, and d H max, dvmax and E opt are real values.
  • the evaluation device 10 evaluates, in step E3, the quality of display criteria. More precisely, the evaluation device 10 evaluates a criterion of absence of divergence of the eyes, a comfort criterion of visualization relative to the depth of focus, a comfort criterion of visualization relative to the maximum vertical disparity, a criterion shape conservation, a criterion of conservation of the dimensions and a criterion of preservation of the depth. Alternatively, only some of the above criteria are evaluated.
  • the display quality criterion includes the viewing comfort criterion relating to the depth of focus and the criterion of conservation of shapes or dimensions.
  • the criterion of comfort of visualization relative to the depth of focus aims to verify that the functions of accommodation and convergence of the visual system of the spectator remain correlated when viewing stereoscopic images, as in the case of "normal" vision.
  • Figure 4 illustrates different ways to evaluate this criterion. The steps shown in FIG. 4 constitute substeps of step E3 of FIG.
  • DOF represents the maximum allowable dioptre on either side of the screen of the viewing apparatus
  • the comfort criterion of visualization is checked if, for any depth z of the real scene, the depth restored Z is in the range [Z minD0 F;
  • the thresholds Z min DOF and Z maX DOF are determined as a function of the viewing distance E and the maximum dioptry DOF (step F1). As explained above, the distance E is obtained in step E1.
  • the maximum diopter DOF can be a pre-recorded parameter in the program. Alternatively, the DOF value may be introduced by the user or obtained differently at step E1.
  • the depth restored Zf 0re g ra und of the foreground of the scene and the depth restored Z ackground of the background of the scene are determined (step F2), in particular according to the actual depth Zf, respectively.
  • 0re g ra und of the foreground of the scene (corresponding to the parameter d f0r egraund above)
  • the actual depth z backgroun d of the background of the scene (corresponding to the parameter d backgroun d).
  • the relationship between Z and z given in the table of FIG. 12 can be used.
  • the thresholds Z min DOF and Z maxD0 F are determined (step G1) as in the step F1 of the first variant.
  • an actual depth threshold z minD0 F of the foreground of the scene and an actual depth threshold z maxD0 F of the background of the scene are determined (step G2) according to the thresholds Z m inDOF and Z maX DOF-
  • the thresholds Z minD0 F and Z maxD0 F are determined (step H1) as in step F1 of the first variant.
  • a maximum uncrossed horizontal disparity threshold of Hn cmax and a threshold of maximum cross-horizontal disparity d Hc max are determined (step H2) as a function of the thresholds Z maX DOF and Z min DOF-.
  • d H n cmax B (1 - E / Z maxD0F ) and d Hcmax - B (E / Z minD0F - 1).
  • the visual comfort criterion relating to the maximum vertical disparity is intended to verify that the maximum vertical disparity d Vm ax present on the stereoscopic images does not introduce visualization discomfort. Indeed, perceptual tests have found that a vertical disparity greater than about 3 minutes of arc has a negative influence on viewing comfort.
  • step E2 the maximum vertical disparity d Vm ax is non-zero and can be determined (in step E2) as a function of the parameters obtained in step E1.
  • a problem of geometric (vertical shift, rotation) or optical (focal length difference) adjustment of the two cameras of the camera 3 can also introduce a maximum vertical disparity d Vm ax non-zero.
  • the value of d Vm ax can be determined (in step E2) by an algorithm, for example depending on the content of the stereoscopic images.
  • the evaluation device 10 After evaluating the aforementioned criteria (step E3), the evaluation device 10 provides information to the user on the relief rendered in step E4. For example, this information is displayed on a screen that is part of the man / machine interface 14. The information displayed correspond to the parameters determined in step E2 and the criteria determined in step E3.
  • a graph representing the depth Z rendered as a function of the actual depth z is displayed. This allows the user to visualize the relationship between Z and z.
  • a symbol may be displayed to represent whether the criterion is satisfied or not.
  • the display of a symbol representing a criterion is not satisfied is an example of issuing a warning within the meaning of the invention. In one embodiment, such a warning is issued if at least one criterion among the viewing comfort criterion relating to the depth of focus and the criterion of conservation of shapes or dimensions is not satisfied.
  • step E4 allows the user of the evaluation device 10 to check whether the relief rendered corresponds to his wishes or not. Depending on the intended application, this information can be taken into account in different ways, as described in more detail with reference to FIGS. 5 to 8.
  • the evaluation method according to the invention also comprises an optimization step E5.
  • the optimization step E5 aims to determine new shooting parameters when the information displayed in step E4 shows that the relief rendered is not in accordance with the user's wishes. Examples of the progress of step E5 are described in more detail below with reference to FIGS. 9 to 11.
  • the man / machine interface 14 of the evaluation device 10 comprises a screen on which an interface 20 is displayed.
  • the interface 20 comprises four windows 21 to 24.
  • the window 21 allows the user to enter input parameters including the shooting parameters, viewing parameters and the aforementioned effect parameters (step E1).
  • the window 22 displays information relating to the parameters determined in step E2.
  • the window 22 displays a graph 25 representing the relationship between Z and z, and a frame 26 indicating the value of the maximum horizontal disparity d Hm ax-
  • the window 23 displays information relating to the criteria evaluated in FIG. step E3.
  • the symbol 27 "DIV: OK” indicates that the criterion of absence of divergence of the eyes is verified
  • the symbol 28 "DOP: X" indicates that the criterion of comfort of visualization relative to the Focusing depth is not checked.
  • the display of the symbol 28 is an example of issuing a warning within the meaning of the invention.
  • the window 24 displays information relating to the optimal parameters determined in step E5.
  • the window 24 comprises a frame 29 indicating the optimum value of the center distance b and a frame 30 indicating the optimum value of the focal length f.
  • a user wishing to create stereoscopic images can introduce (step El, window 21) the parameters that he plans to use. By consulting the information displayed in the windows 22 and 23, he can check that the parameters he plans to use correspond to the relief he wishes to obtain. If this is not the case, the user may decide to change some of the shooting parameters, for example by using the optimal parameters displayed in the window 24.
  • the user can decide to use a different value of center distance than that initially envisaged. .
  • Figure 6 shows a system 40 for producing and broadcasting live stereoscopic images.
  • the system 40 comprises an evaluation device 10 connected to a camera 3 which films a scene 2.
  • the images filmed by the camera 3 are formatted in a stereoscopic format, coded and broadcast by a telecommunication network 42 to display devices 4.
  • the formatting, coding and broadcasting functions are represented by a single functional block 41 in FIG. 6, but they can be realized by several hardware entities.
  • the center distance b of the camera 3 can be controlled.
  • the evaluation device 10 determines an optimum value for the center distance b of the camera 3, and uses this value as a set point to control the camera 3.
  • a cameraman can adjust the distance focal point f of the camera 3 according to the scene 2, and the center distance b will be controlled automatically by the evaluation device 10.
  • the evaluation device 10 obtains, by a link 43, the focal length f, the center distance b and the convergence distance of the camera 3.
  • the display parameters are introduced by the user of the evaluation device 10. For example, the user selects a target service from a predefined list, in which each target service corresponds in particular to a predefined viewing distance E.
  • the target service list contains for example a "Television” service and a "WebTV” service corresponding to a viewing distance lower than that of the "Television” service.
  • the shooting parameters do not include the depths Zf 0reg ra und and z ba ckground of the scene 2.
  • the evaluation device 10 also obtains the images filmed by the recording apparatus 3 by a link 44.
  • the evaluation device determines a command setpoint for the value of the center distance b, and sends it to the camera 3.
  • the links 43, 44 and 45 may correspond to a single cable connecting the camera 3 to the evaluation device 10.
  • the evaluation device 10 may be integrated into the pickup device from view 3.
  • Figure 7 shows a system 50 for postproduction of stereoscopic images.
  • the system 50 includes an evaluation device 10 connected to an information carrier 51 by a link 52.
  • the information carrier 51 stores stereoscopic images associated with metadata. Metadata includes settings for shooting stereoscopic images.
  • the evaluation device 10 may obtain viewing parameters, e.g., as described above with reference to Figure 6. Furthermore, when the metadata does not include depths Zf 0re g ro und z and g round back of the scene filmed the evaluation device 10 also obtains the filmed images stored on the information carrier 10.
  • the evaluation device 10 can display information relating to the relief rendered, for example on an interface similar to the interface. 20 of Figure 5.
  • FIG. 8 represents a system 60 for measuring the quality of service of a television service in relief.
  • the system 60 comprises an evaluation device 10 connected to a decoder 61 via a link 62.
  • the decoder 61 is integrated in the evaluation device 10.
  • the decoder 61 obtains a video stream of stereoscopic images broadcast in a network 63.
  • the stream contains metadata comprising parameters for shooting the stereoscopic images.
  • the decoder 61 decodes the video stream and transmits the metadata, and possibly the images, to the evaluation device 10.
  • the evaluation device 10 can then display information relating to the restored relief, similarly to the case of FIG. 7.
  • step E5 aims at determining optimal values for the center distance b and for the convergence distance of, making it possible to check the comfort criterion of visualization relating to the depth of focus, and if possible the criterion shape conservation and the dimension conservation criterion.
  • the algorithm described with reference to FIG. 9 is particularly suitable for an application of the type shown in FIG. 6, in which the focal length f is imposed by the cameraman, the center distance b and the convergence distance being able to be ordered by the evaluation device 10.
  • step J1 the evaluation device 10 determines initial values b, and dq for the center distance and the convergence distance. For example, the evaluation device 10 uses the values b and of obtained in step E1.
  • the evaluation device 10 determines initial values b, and d ci for which the conservation of shapes and dimensions is verified for the distance of interest D RO i.
  • the cameraman has the free choice of shooting focal length. For example, if he wants to shoot a rather distant object, he will use a long focal length (telephoto). On the contrary, if he wants to have a panoramic view of the scene, he will use a short focal length (wide angle). The shooting focal point is therefore likely not to be that corresponding to a total conformity between the real relief and the relief rendered.
  • the evaluation device 10 determines initial values b, and dq on the basis of the following equations:
  • step J2 the evaluation device 10 determines four values for the center distance b:
  • step J3 the evaluation device 10 determines the optimum value for the center distance b f by selecting the smallest of the values determined in step J2. If the values of b f Dxz and deb f Dx are equal, we select b f Dx in the depth distortion Dz is between 0.5 and 2 for the distance of interest D
  • the values b f mjnDOF ⁇ t b f maxDOF represent thresholds beyond which the corresponding conditions are no longer verified. Thus, for any value of b f less than or equal to the minimum of b f ⁇ o ⁇ and b / Ie criterion of comfort of viewing will be respected.
  • the selection of the minimum value will have the effect that the criterion of comfort of visualization will be respected, but not the criteria conservation of shapes and sizes.
  • the selection of the minimum value will have the effect that the criterion of comfort of visualization will be respected and that the criterion conservation of shapes and / or dimensions will also be respected.
  • step J4 this step may be optional and left to the free choice of the user, the evaluation device 10 determines four values for the convergence distance of:
  • step J5 the evaluation device 10 determines the optimum value for the convergence distance by selecting among values determined in step J4. More precisely :
  • the step E5 aims at determining a new value of shooting distance and an optimum value for the focal length f, making it possible to check the comfort criterion of visualization relating to the depth of focus, and if possible the criterion of conservation of the forms and the criterion of conservation of dimension.
  • the algorithm described with reference to FIG. 10 is particularly suitable for shooting with a camera with two fixed objectives with respect to each other, in which the center distance b can not be amended.
  • the evaluation device 10 determines initial values f1 and dq for the focal length and the convergence distance. For example, the evaluation device 10 uses the values f and of obtained in step E1.
  • step K2 the evaluation device 10 determines new values for the actual depth foreground z fore g ro und the actual background depth z backgraund and the distance of interest D O i. More specifically, the evaluation device determines:
  • step K3 the evaluation device 10 determines differences between initials and final:
  • Aforeground zf oreground ⁇ - Zf oreground .
  • step K4 the evaluation device 10 determines a difference ⁇ by selecting the highest of the differences of the step K3. By selecting the largest difference ⁇ , priority is given to the verification of the comfort criterion of visualization relative to the depth of focus, and if possible one also checks the criterion of conservation of the shapes, even the dimensions.
  • the Aforeground and Abackground deviations represent thresholds below which the corresponding conditions are no longer verified.
  • the viewing comfort criterion will be respected.
  • the selection of the maximum value will have the effect that the criterion of comfort of visualization will be respected, but not the criterion of conservation of the forms.
  • step K4 the evaluation device 10 determines new values for the foreground distance dforeground, the background distance dbackground, the distance of interest D RO i, the convergence distance of and the focal length f:
  • the user of a camera 3 having a fixed center distance b can, depending on the above-mentioned values displayed in the window 24, approach or move away from Scene 2 and change the focal length to keep the frame constant.
  • the step E5 aims at determining an optimum value for the focal length f, making it possible to check the comfort criterion of visualization relating to the depth of focus, and if possible the criterion of conservation of the forms and the criterion conservation of dimensions.
  • step L1 the evaluation device 10 determines an initial value f, for the focal length. For example, the evaluation device 10 uses the value f obtained in step E1.
  • step L2 the evaluation device 10 determines four values for the focal length f:
  • step L3 the evaluation device 10 determines the optimum value for the focal length f by selecting the smallest of the values determined in the step L2. If the values of f D and f Dx are equal, we select f Dxz at the depth distortion Dz is between 0.5 and 2 for the distance of interest D O i.
  • the values f ⁇ oo p and f max D0F represent thresholds beyond which the corresponding conditions are no longer verified.
  • the viewing comfort criterion will be respected.
  • the algorithm of Figure 9, 10 or 11 can be used, depending on the constraints of the application and / or parameters that the user agrees to change.
  • the constraints of the application and the parameters that can be modified are, for example, specified in step E1.
  • the determination of an optimized value of a parameter taken, that is to say, b, f, or of ⁇ f f comprises:
  • a first value of the shooting parameter delimiting a range in which the viewing comfort criterion is verified. This is the minimum of b f minDOF and bf maxDOF in the case of Figure 9, the maximum of Aforeground and Abackground in the case of Figure 10, and the minimum of f ⁇ D0F and f ⁇ ⁇ p in the case of Figure 11.

Abstract

Procédé d'évaluation d'une chaîne (1) de production et de visualisation d'images stéréoscopiques d'une scène (2), mis en œuvre par un ordinateur (10), comprenant : - une étape (El) d'obtention de paramètres de prises de vue et de paramètres de visualisation caractérisant ladite chaîne (1) de production et de visualisation, - une étape (E3) d'évaluation d'un critère de qualité de visualisation en fonction desdits paramètres de prises de vues et desdits paramètres de visualisation, ledit critère de qualité de visualisation comprenant un critère confort de visualisation évalué en vérifiant que, pour toute profondeur réelle (z) de la scène (2), la profondeur restituée (Z) est comprise dans un intervalle (ZminD0F, ZmaxD0F) prédéterminé. Le procédé est tel que le critère de qualité de visualisation comprend en outre un critère de conservation des formes ou des dimensions et qu'il comprend: - une étape (E3) d'évaluation du critère de conservation des formes ou des dimensions en vérifiant que la forme ou la dimension des objets restitués de la scène n'est pas modifiée, - une étape (E4) d'émission d'un avertissement lorsque au moins un des critères confort de visualisation ou conservation des formes ou des dimensions n'est pas satisfait.

Description

PROCEDE ET DISPOSITIF D'EVALUATION D'UNE CHAINE DE PRODUCTION ET DE VISUALISATION D'IMAGES STEREOSCOPIQUES
Arrière-plan de l'invention
L'invention se rapporte au domaine de la production et de la visualisation d'images stéréoscopiques.
L'impression de relief obtenue lors de la visualisation d'images stéréoscopiques dépend des conditions de prises de vue et des conditions de visualisation.
Lorsque la prise de vue est effectuée à l'aide de deux caméras, les conditions de prise de vue peuvent être caractérisées par trois paramètres principaux : la distance inter-caméras (aussi appelée entraxe), la distance focale des caméras et la distance de convergence des deux caméras. Les conditions de visualisation peuvent également être caractérisées par trois paramètres principaux : la taille de l'écran, la distance de visualisation et la distance inter-pupillaire. D'autres paramètres peuvent également être pris en compte (taille du capteur des caméras, etc.).
Des paramètres inadaptés peuvent conduire à des effets indésirables comme la distorsion non voulue du relief, un effet de miniaturisation ou de gigantisme des objets, etc. Des logiciels qui visent à éviter ces effets indésirables ont donc été proposés. En particulier, il est connu de calculer une valeur d'entraxe en fonction des autres paramètres de prise de vue et des paramètres de visualisation. Le créateur des images en relief (réalisateur 3D, caméraman) peut alors régler l'entraxe des caméras à la valeur calculée.
Cette solution n'est toutefois pas applicable dans le cas d'une caméra à deux objectifs fixes l'un par rapport à l'autre, dont l'entraxe ne peut pas être réglé.
Il est également connu qu'un mauvais choix des paramètres de prise de vue, pour des paramètres de visualisation donnés, peut provoquer une divergence des yeux et donc rendre la visualisation stéréoscopique impossible. A cet égard, il est connu d'estimer, en fonction de paramètres de prise de vue et de paramètres de visualisation, un risque de divergence de yeux, et d'émettre un avertissement en cas de risque de divergence. Le créateur des images en relief peut alors décider d'utiliser d'autres paramètres de prise de vue pour éviter ce risque de divergence.
Toutefois, même en l'absence de risque de divergence des yeux, la visualisation d'images stéréoscopiques peut être inconfortable pour le spectateur. Il existe donc un besoin d'amélioration de la production et de la visualisation d'images stéréoscopiques.
Objet et résumé de l'invention
L'invention propose un procédé d'évaluation d'une chaîne de production et de visualisation d'images stéréoscopiques d'une scène, mis en œuvre par un ordinateur, comprenant : - une étape d'obtention de paramètres de prise de vue et de paramètres de visualisation caractérisant ladite chaîne de production et de visualisation, - une étape d'évaluation d'un critère de qualité de visualisation en fonction desdits paramètres de prise de vue et desdits paramètres de visualisation, et
- une étape d'émission d'un avertissement lorsque ledit critère de qualité de visualisation n'est pas vérifié.
Le critère de qualité de visualisation comprend un critère confort de visualisation évalué en vérifiant que, pour toute profondeur réelle de la scène, la profondeur restituée est comprise dans un intervalle prédéterminé.
Le critère de qualité de visualisation peut comprendre en outre un critère de conservation des formes ou des dimensions et le procédé peut comprendre:
- une étape d'évaluation du critère de conservation des formes ou des dimensions en vérifiant que la forme ou la dimension des objets restitués de la scène n'est pas modifiée,
- une étape d'émission d'un avertissement lorsque au moins un des critères confort de visualisation ou conservation des formes ou des dimensions n'est pas satisfait
Corrélativement, l'invention propose un dispositif d'évaluation d'une chaîne de production et de visualisation d'images stéréoscopiques d'une scène, comprenant :
- des moyens d'obtention de paramètres de prise de vue et de paramètres de visualisation caractérisant ladite chaîne de production et de visualisation,
- des moyens d'évaluation d'un critère de qualité de visualisation en fonction desdits paramètres de prise de vue et desdits paramètres de visualisation, et
- des moyens d'émission d'un avertissement lorsque ledit critère de qualité de visualisation n'est pas vérifié,
dans lequel ledit critère de qualité de visualisation comprend un critère confort de visualisation évalué en vérifiant que, pour toute profondeur réelle de la scène, la profondeur restituée est comprises dans un intervalle prédéterminé.
Le critère de qualité de visualisation peut comprendre en outre un critère de conservation des formes ou des dimensions et en ce que le dispositif peut comprendre:
- des moyens d'évaluation du critère de conservation des formes ou des dimensions en vérifiant que la forme ou la dimension des objets restitués de la scène n'est pas modifiée,
- des moyens d'émission d'un avertissement lorsque au moins un des critères confort de visualisation et conservation des formes ou des dimensions n'est pas satisfait
On a constaté que, même en l'absence de risque de divergence des yeux, la visualisation d'images stéréoscopiques peut être inconfortable pour le spectateur. Ainsi, en estimant un critère de confort de visualisation, il est possible de vérifier que les paramètres obtenus correspondent à une visualisation confortable et, si ce n'est pas le cas, d'émettre un avertissement. Si nécessaires, d'autres paramètres de prise de vue peuvent alors être utilisés en réponse à l'avertissement, pour garantir une visualisation confortable.
Plus précisément, le critère de confort de visualisation proposé par l'invention est un critère qui tient compte de la profondeur de mise au point de l'œil humain (ou DOF pour « Depth Of Focus » en anglais) en fonction de la distance de visualisation. Lors de la vision « normale » (c'est-à-dire la vision d'une même scène par les deux yeux, par opposition à la vision d'images stéréoscopiques où chaque œil voit une image spécifique), les fonctions d'accommodation et de convergence du système visuel humain sont corrélées. Ainsi, pour garantir le confort de visualisation, la présente invention considère que les fonctions d'accommodation et de convergence du système visuel humain doivent également rester corrélées lors de la visualisation d'images stéréoscopiques.
Des études perceptuelles montrent que le couple accommodation/convergence des yeux reste corrélé pour des profondeurs restituées du premier plan et de l'arrière-plan de la scène visualisée allant jusqu'à des seuils déterminés de part et d'autre de l'écran de visualisation. Ainsi, selon l'invention, le critère de confort de visualisation peut être estimé en vérifiant que, pour toute profondeur réelle de la scène, la profondeur restituée est comprise dans un intervalle prédéterminé.
Concrètement, dans une première variante, le critère confort de visualisation est évalué par :
- une étape de détermination d'un seuil de profondeur restituée d'avant-plan et d'un seuil de profondeur restituée d'arrière-plan,
- une étape de détermination de la profondeur restituée d'avant-plan et de la profondeur restituée d'arrière-plan, et
- une étape de comparaison desdites profondeurs restituées avec lesdits seuils.
Dans une deuxième variante, le critère confort de visualisation est évalué par :
- une étape de détermination d'un seuil de profondeur restituée d'avant-plan et d'un seuil de profondeur restituée d'arrière-plan,
- une étape de détermination d'un seuil de profondeur réelle d'avant-plan et d'un seuil de profondeur réelle d'arrière-plan en fonction desdits seuils de profondeur restituée, et
- une étape de comparaison des profondeurs réelles d'avant-plan et d'arrière-plan de la scène avec lesdits seuils de profondeur réelle.
Les deux techniques précitées permettent d'évaluer facilement le critère de confort de visualisation, notamment lorsque les paramètres de prises de vue précisent les profondeurs réelles de l'avant-plan et de l'arrière-plan de la scène.
Selon une troisième variante, le critère confort de visualisation est évalué par :
- une étape de détermination d'un seuil de profondeur restituée d'avant-plan et d'un seuil de profondeur restituée d'arrière-plan,
- une étape de détermination d'un seuil de disparité horizontale non-croisée et d'un seuil de disparité horizontale croisée en fonction desdits seuils de profondeur restituée, et
- une étape de comparaison d'une disparité horizontale maximale des images stéréoscopiques avec lesdits seuils de disparité. La disparité horizontale maximale présente dans les images stéréoscopiques peut être déterminée par une analyse des images. Ainsi, la technique précitée permet d'évaluer le critère de confort de visualisation, notamment lorsque les paramètres de prise de vue ne précisent pas les profondeurs réelles de l'avant-plan et de l'arrière-plan de la scène.
Dans un mode de réalisation, le procédé d'évaluation comprend une étape d'optimisation incluant la détermination d'une valeur optimisée d'au moins un paramètre de prise de vue permettant de vérifier le critère de qualité de visualisation.
L'étape d'optimisation peut comprendre :
- une étape de détermination d'une première valeur du paramètre de prise de vue délimitant une plage dans laquelle le critère de confort de visualisation est satisfait,
- une étape de détermination d'au moins une deuxième valeur du paramètre de prise de vue avec laquelle le critère de conservation des formes ou des dimensions est satisfait,
- une étape de sélection de la première valeur si la deuxième valeur n'est pas dans ladite plage ou de sélection de la deuxième valeur si la deuxième valeur est dans ladite plage.
Autrement dit, l'invention propose une priorisation de critères de qualité de visualisation en imposant que le critère de confort de visualisation soit vérifié de manière prioritaire par la ou les valeurs optimisées. La vérification d'autres critères comme des critères de conservation des formes et/ou des dimensions est considérée moins prioritaire.
La première valeur peut être une valeur d'entraxe représentant un seuil au-delà duquel le critère de confort de visualisation n'est pas satisfait, ladite au moins une deuxième valeur comprenant une valeur d'entraxe pour laquelle le critère de conservation des formes et/ou des dimensions est satisfait, l'étape de sélection comprenant la sélection d'une valeur minimale.
La première valeur peut être un écart représentant un seuil en-deçà duquel le critère de confort de visualisation n'est pas satisfait, ladite au moins une deuxième valeur comprenant un écart pour lequel le critère de conservation des formes est satisfait, l'étape de sélection comprenant la sélection d'un écart maximal.
La première valeur peut être une valeur de focale représentant un seuil au-delà duquel le critère de confort de visualisation n'est pas satisfait, ladite au moins une deuxième valeur comprenant une valeur de focale pour laquelle le critère de conservation des formes est satisfait et une valeur de focale pour laquelle le critère de conservation des dimensions est satisfait, l'étape de sélection comprenant la sélection d'une valeur minimale
Le procédé d'évaluation peut comprendre une étape d'affichage de ladite valeur optimisée sur une interface homme/machine.
Dans ce cas, l'utilisateur peut prendre en compte les valeurs affichées pour régler un appareil de prise de vue.
Le procédé d'évaluation peut comprendre une étape de commande d'un appareil de prise de vue en fonction de ladite valeur optimisée. Dans ce cas, l'étape d'obtention peut comprendre l'obtention de paramètres de prises de vue et/ou d'images stéréoscopiques de la part de l'appareil de prise de vue, ladite valeur optimisée étant déterminée en fonction des paramètres de prises de vue et/ou des images stéréoscopiques obtenues de la part de l'appareil de prise de vue.
Dans ce cas, un appareil de prise de vue est réglé automatiquement en fonction de la ou des valeurs optimisées.
L'étape d'optimisation peut comprendre une étape de détermination d'une valeur optimisée d'un entraxe et une étape de détermination d'une valeur optimisée d'une distance de convergence d'un appareil de prise de vue, en fonction d'une distance focale déterminée.
Cette variante est particulièrement intéressante dans le cas d'une prise de vue où un caméraman peut imposer une distance focale.
L'étape d'optimisation peut comprendre une étape de détermination d'une valeur optimisée d'au moins une distance de prise de vue, d'une distance de convergence et d'une distance focale d'un appareil de prise de vue en fonction d'un entraxe déterminé.
Cette variante est particulièrement intéressante dans le cas d'une prise de vue avec un appareil de prise de vue comprenant deux objectifs fixes l'un par rapport à l'autre, dont l'entraxe ne peut pas être modifié.
L'étape d'optimisation peut comprendre une étape de détermination d'une valeur optimisée d'une distance focale d'un appareil de prise de vue en fonction d'un entraxe et d'une distance de convergence déterminés.
Dans cette variante, priorité est donné à la modification de la distance focale.
Selon un mode de réalisation, l'étape d'obtention comprend l'obtention de métadonnées associées à des images stéréoscopiques, lesdites métadonnées incluant au moins certains desdits paramètres de prise de vue desdites images stéréoscopiques.
L'utilisation de métadonnées permet de facilement obtenir les paramètres de prises de vue. L'utilisateur ne doit pas introduire manuellement tous les paramètres.
L'invention vise aussi un programme d'ordinateur comportant des instructions pour l'exécution des étapes d'un procédé d'évaluation conforme à l'invention lorsque ledit programme est exécuté par un ordinateur.
Ce programme peut utiliser n'importe quel langage de programmation, et être sous la forme de code source, code objet, ou de code intermédiaire entre code source et code objet, tel que dans une forme partiellement compilée, ou dans n'importe quelle autre forme souhaitable.
L'invention vise aussi un support d'enregistrement ou support d'informations lisible par un ordinateur, et comportant des instructions d'un programme d'ordinateur tel que mentionné ci- dessus.
Les supports d'enregistrement mentionnés ci-avant peuvent être n'importe quelle entité ou dispositif capable de stocker le programme. Par exemple, le support peut comporter un moyen de stockage, tel qu'une ROM, par exemple un CD ROM ou une ROM de circuit microélectronique, ou encore un moyen d'enregistrement magnétique, par exemple une disquette (floppy dise) ou un disque dur.
D'autre part, les supports d'enregistrement peuvent correspondre à un support transmissible tel qu'un signal électrique ou optique, qui peut être acheminé via un câble électrique ou optique, par radio ou par d'autres moyens. Le programme selon l'invention peut être en particulier téléchargé sur un réseau de type Internet.
Alternativement, les supports d'enregistrement peuvent correspondre à un circuit intégré dans lequel le programme est incorporé, le circuit étant adapté pour exécuter ou pour être utilisé dans l'exécution du procédé en question.
Brève description des dessins
D'autres caractéristiques et avantages de la présente invention ressortiront de la description faite ci-dessous, en référence aux dessins annexés qui en illustrent un exemple de réalisation dépourvu de tout caractère limitatif. Sur les figures :
la figure 1 est une vue schématique d'une chaîne de production et de visualisation d'images stéréoscopiques,
la figure 2 représente un dispositif d'évaluation selon un mode de réalisation de l'invention,
la figure 3 représente les principales étapes d'un procédé d'évaluation selon un mode de réalisation de l'invention,
la figure 4 illustre des étapes permettant l'évaluation d'un critère de confort de visualisation,
les figures 5 à 8 représentent des exemples d'applications du dispositif d'évaluation de la figure 2,
les figures 9 à 11 représentent des exemples de déroulement de l'étape d'optimisation du procédé d'évaluation de la figure 3, et
les figures 12 et 13A et 13B sont des tableaux indiquant des formules utilisées dans la modélisation d'espace restitué par une chaîne de production et de visualisation d'images stéréoscopiques.
Description détaillée de modes de réalisation
Dans le cadre de la présente description, des images stéréoscopiques peuvent être notamment des images fixes (par exemple, des photographies ou des dessins) ou des images variables (cinéma, télévision,...).
La figure 1 représente schématiquement une chaîne de production et de visualisation 1 d'images stéréoscopiques. Une scène 2 est filmée par un appareil de prise de vue 3 en trois dimensions. Les images filmées par l'appareil de prise de vue 3 sont transmises vers un appareil de visualisation 4 où elles sont visionnées par un spectateur 5.
L'appareil de prise de vue 3 comprend par exemple deux caméras montées sur un support appelé « Rig 3D » permettant de régler la distance entre les caméras et la distance de convergence des caméras. Dans une variante, l'appareil de prise de vue 3 comprend une caméra à deux objectifs fixes l'un par rapport à l'autre. La distance entre les deux caméras ou entre les deux objectif de l'unique caméra est appelé « entraxe ».
L'appareil de visualisation 4 comprend un écran configuré pour mettre en œuvre une technique d'affichage d'images stéréoscopiques. Dans une variante, les images stéréoscopiques filmées par l'appareil de prise de vue 3 sont transmises par un réseau de télécommunications vers l'appareil de visualisation 4. Dans une autre variante, les images stéréoscopiques filmées par l'appareil de prise de vue 3 sont mémorisées sur un support d'information, par exemple un disque optique, et le support d'information est lu par un lecteur relié à l'écran de l'appareil de visualisation 4.
La chaîne de production et de visualisation 1 peut être caractérisée par différents paramètres. En particulier, la scène 2 et l'appareil de prise de vue 3 peuvent être caractérisés par des paramètres de prise de vue. La visualisation des images sur l'appareil de visualisation 4 peut être caractérisée par des paramètres de visualisation. Eventuellement, des effets spéciaux ou artistiques souhaités par le créateur des images stéréoscopiques peuvent être caractérisés par des paramètres d'effet.
Les paramètres de prise de vue peuvent comprendre :
dforegraund : la distance (ou profondeur) du premier plan de la scène 2, dbackgraund : la distance (ou profondeur) de l'arrière plan de la scène 2, DRoi : la distance d'intérêt de la scène 2,
f : la distance focale des caméras de l'appareil de prise de vue 3, b : l'entraxe de l'appareil de prise de vue 3,
Wcapteur : largeur du capteur des caméras de l'appareil de prise de vue 3, la définition du capteur des caméras de l'appareil de prise de vue 3, a : l'angle de convergence des caméras de l'appareil de prise de vue 3,
- de : distance de convergence des caméras de l'appareil de prise de vue 3.
Les paramètres de visualisation peuvent comprendre :
- E : la distance entre le spectateur 5 et l'écran de l'appareil de visualisation 4,
- B : l'écart interoculaire du spectateur 5,
- la taille de l'écran de l'appareil de visualisation 4,
- la définition de l'écran de l'appareil de visualisation 4, et
M : un facteur de grandissement de l'image (rapport entre la taille de l'écran de visualisation et celle du capteur des caméras).
Les paramètres d'effet peuvent inclure : γ : un facteur représentant un effet de distorsion de la profondeur (compression, étirement), et
Ω : un facteur représentant un effet de distorsion de la proportion des objets (gigantisme, miniaturisation).
Les paramètres précités influencent le relief restitué par l'appareil de visualisation 4.
Ainsi, la présente invention propose d'évaluer une chaîne de production et de visualisation d'images stéréoscopiques. Dans une variante, la présente invention propose également d'optimiser une chaîne de production et de visualisation d'images stéréoscopiques. En référence à la figure 2, on décrit un dispositif d'évaluation 10 conforme à l'invention.
Le dispositif d'évaluation 10 présente l'architecture matérielle d'un ordinateur. Il comprend notamment un microprocesseur 11, une mémoire non-volatile 12, une mémoire volatile 13, une interface homme/machine 14 et une unité de communication 15. Le microprocesseur 11 permet d'exécuter des programmes mémorisés dans la mémoire non-volatile 12, en utilisant la mémoire volatile 13. L'interface homme/machine 14 permet par exemple à un utilisateur du dispositif d'évaluation 10 d'introduire des données et de lire des informations. L'unité de communication 15 permet au dispositif d'évaluation 10 de communiquer avec d'autres équipements.
La mémoire non-volatile 12 comprend un programme d'ordinateur qui permet la mise en œuvre d'un procédé d'évaluation conforme à l'invention lorsqu'il est exécuté par le microprocesseur 11. La mémoire non-volatile 12 est donc un exemple de support d'information conforme à l'invention.
Le dispositif d'évaluation pourrait également être implémenté dans tout équipement composant une chaîne vidéo de bout en bout (caméra stéréoscopique, codeur, décodeur, téléviseur, etc.).
La figure 3 représente les principales étapes d'un procédé d'évaluation conforme à l'invention. Plus précisément, la figure 3 concerne une variante dans lequel le dispositif d'évaluation 10 effectue également une optimisation.
A l'étape El, le dispositif d'évaluation 10 obtient des paramètres caractérisant une chaîne de production et de visualisation d'images stéréoscopiques. Les paramètres obtenus peuvent inclure la totalité ou une partie des paramètres de prise de vue, des paramètres de visualisation et des paramètres d'effets précités. En référence aux figures 5 à 8, on décrit ci-après de manière plus précise différentes variantes de mise en œuvre de l'étape El d'obtention des paramètres.
Ensuite, à l'étape E2, le dispositif d'évaluation 10 détermine des paramètres caractérisant le relief restitué par la chaîne de production et de visualisation, en fonction des paramètres obtenus à l'étape El.
A cet effet, le dispositif d'évaluation 10 modélise le relief restitué dans un repère noté R(0, X, Y, Z) par rapport au relief réel dans un repère noté r(o, x, y, z). Le tableau de la figure 12 indique les équations permettant cette modélisation, dans le cas d'une prise de vue parallèle (angle de convergence a = 0°). Les tableaux des figures 13A et 13B indiquent les équations correspondantes, dans le cas d'une prise de vue avec convergence physique (angle de convergence a ≠ 0°) entre les axes optiques des caméras réelles ou virtuelles utilisées pour la génération de contenus synthétiques (films d'animation, etc.).
Les paramètres déterminés par le dispositif d'évaluation 10 à l'étape E2 sont par exemple :
La profondeur restituée Z en fonction de la profondeur réelle z.
La distorsion horizontale Dx en fonction de la profondeur réelle z.
- La distorsion verticale DY en fonction de la profondeur réelle z.
La distorsion de profondeur Dz en fonction de la profondeur réelle z. L'erreur de forme Dxz en fonction de la profondeur réelle z.
La disparité horizontale maximale dHmax présente sur les images stéréoscopiques. La disparité verticale maximale dVmax présente sur les images stéréoscopiques. - La distance de visualisation optimale Eopt.
Parmi les paramètres précités, Z, Dx, DY, Dz, et Dxz sont des fonctions qui varient avec z, et dHmax, dvmax et Eopt sont des valeurs réelles.
La distance de visualisation optimale Eopt peut par exemple être déterminée en utilisant la formule suivante : Eopt = H / (DefV * 2 * tan (n / (360*60) )), où H représente la hauteur de l'écran de visualisation et DefV sa définition verticale. En effet, des tests perceptuels ont montré que la distance de visualisation optimale dépend de la définition verticale de l'écran, soit une minute d'arc maximum entre chaque ligne des images destinées respectivement à l'œil droit et à l'œil gauche. Les procédés d'affichage stéréoscopiques ont donc une influence sur la distance de visualisation (système entrelacé ligne, système à restitution alternée, etc.).
Ensuite, en fonction des paramètres obtenus à l'étape El et/ou des paramètres caractérisant le relief restitué déterminé à l'étape E2, le dispositif d'évaluation 10 évalue, à l'étape E3, des critères de qualité de visualisation. Plus précisément, le dispositif d'évaluation 10 évalue un critère d'absence de divergence des yeux, un critère de confort de visualisation relatif à la profondeur de mise au point, un critère de confort de visualisation relatif à la disparité verticale maximale, un critère de conservation des formes, un critère de conservation des dimensions et un critère de conservation de la profondeur. En variante, seuls certains des critères précités sont évalués. Dans un mode de réalisation, le critère de qualité de visualisation comprend le critère de confort de visualisation relatif à la profondeur de mise au point et le critère de conservation des formes ou des dimensions.
L'évaluation d'un critère d'absence de divergence des yeux est connue de l'homme du métier et ne sera pas décrite en détail.
Le critère de confort de visualisation relatif à la profondeur de mise au point vise à vérifier que les fonctions d'accommodation et de convergence du système visuel du spectateur restent corrélées lors de la visualisation d'images stéréoscopiques, comme dans le cas de la vision « normale ». La figure 4 illustre différentes manières d'évaluer ce critère. Les étapes représentées sur la figure 4 constituent des sous-étapes de l'étape E3 de la figure 3.
Des études perceptuelles montrent que le couple accommodation/convergence des yeux reste corrélé pour des profondeurs restituées du premier et de l'arrière plan de la scène visualisée allant jusqu'à 0.2 dioptries de part et d'autre de l'écran de visualisation. Une distance plus élevée peut toutefois être admise sans nuire au confort de visualisation, pour des durées de visualisation limitées.
Ainsi, si DOF représente la dioptrie maximale admissible de part et d'autre de l'écran de l'appareil de visualisation, le critère de confort de visualisation est vérifié si, pour toute profondeur z de la scène réelle, la profondeur restituée Z est comprise dans l'intervalle [ZminD0F ;
ZmaxDOF. OU :
ZminD0F = 1 / (1/E + DOF) est un seuil de profondeur restituée d'avant-plan et, ZmaxDOF = 1 / (1/E - DOF) est un seuil de profondeur restituée d'arrière-plan.
Selon une première variante, les seuils ZminDOF et ZmaXDOF sont déterminés en fonction de la distance E de visualisation et de la dioptrie maximale DOF (étape Fl). Comme expliqué précédemment, la distance E est obtenue à l'étape El. La dioptrie maximale DOF peut être un paramètre préenregistré dans le programme. En variante, la valeur de DOF peut être introduite par l'utilisateur ou obtenue différemment à l'étape El.
Ensuite, la profondeur restituée Zf0regraund de l'avant-plan de la scène et la profondeur restituée Z ackground de l'arrière-plan de la scène sont déterminés (étape F2), notamment en fonction respectivement de la profondeur réelle Zf0regraund de l'avant-plan de la scène (correspondant au paramètre df0regraund précité) et de la profondeur réelle zbackground de l'arrière-plan de la scène (correspondant au paramètre dbackground). A cet effet, on peut utiliser la relation entre Z et z donnée dans le tableau de la figure 12.
Enfin, le critère de confort de visualisation est évalué en comparant la profondeur restituée ZforegraUnd au seuil ZminD0F et la profondeur restituée Zbackgraund au seuil ZmaxD0F (étape F3). Plus précisément, si ZforegraUnd > = ZminD0F et Zbackground < = ZmaxD0F, alors le critère est vérifié et dans le cas contraire, le critère n'est pas vérifié.
Selon une deuxième variante, les seuils ZminDOF et ZmaxD0F sont déterminés (étape Gl) comme à l'étape Fl de la première variante.
Ensuite, un seuil de profondeur réelle zminD0F de l'avant-plan de la scène et un seuil de profondeur réelle zmaxD0F de l'arrière-plan de la scène sont déterminés (étape G2) en fonction des seuils ZminDOF et ZmaXDOF- A cet effet, on peut utiliser la relation inverse à la relation entre la profondeur restituée Z et la profondeur réelle z.
Enfin, le critère de confort de visualisation est évalué en comparant profondeur réelle Zforeground de l'avant-plan de la scène au seuil zminDOF et de la profondeur réelle z ackgraund de l'arrière- plan de la scène au seuil zmaxD0F (étape F3). Plus précisément, si Zf0reground >= zminDoF et Zbackgraund <= zmaXDOF, alors le critère est vérifié et dans le cas contraire, le critère n'est pas vérifié.
Selon une troisième variante, les seuils ZminD0F et ZmaxD0F sont déterminés (étape Hl) comme à l'étape Fl de la première variante.
Ensuite, un seuil de disparité horizontale non croisée maximale dHncmax et un seuil de disparité horizontale croisée maximale dHcmax sont déterminés (étape H2) en fonction respectivement des seuils ZmaXDOF et ZminDOF- A cet effet, on utilise les relations suivantes : dH ncmax = B (1 - E / ZmaxD0F) et d Hcmax — B (E / ZminD0F - 1).
Enfin, le critère de confort de visualisation est évalué en comparant la disparité horizontale maximale dHmax déterminée à l'étape E2 avec les seuils dHncmax et dHcmax (étape F3). Plus précisément, si dHmax <= dHncmax et dH max <= dHcmax, alors le critère est vérifié et dans le cas contraire, le critère n'est pas vérifié.
Le critère de confort de visualisation relatif à la disparité verticale maximale vise à vérifier que la disparité verticale maximale dVmax présente sur les images stéréoscopiques n'introduit pas un inconfort de visualisation. En effet, des tests perceptuels ont permis de constater qu'une disparité verticale supérieure à environ 3 minutes d'arc a une influence négative sur le confort de visualisation.
Les équations données en fin de description montrent qu'en cas de prise de vue parallèle, la disparité verticale est normalement nulle. Cependant, en cas de prise de vue convergeant, la disparité verticale maximale dVmax est non nulle et peut être déterminée (à l'étape E2) en fonction des paramètres obtenus à l'étape El.
Un problème d'ajustement géométrique (décalage vertical, rotation) ou optique (différence de focale) des deux caméras de l'appareil de prise de vue 3 peut également introduire une disparité verticale maximale dVmax non nulle. Dans ce cas, la valeur de dVmax peut être déterminée (à l'étape E2) par un algorithme, par exemple en fonction du contenu des images stéréoscopiques.
Ainsi, le critère de confort de visualisation relatif à la disparité verticale maximale est évalué en comparant la disparité verticale maximale dVmax (déterminée à l'étape E2) avec un seuil DVmax égal par exemple à 3 minutes d'arc. Plus précisément, si dVmax <= DVmax alors le critère est vérifié, et si non le critère n'est pas vérifié.
Le critère de conservation des formes vise à vérifier que les objets ne sont pas déformés dans l'espace restitué. Ce critère est vérifié si Dx = DY = Dz = γ.
Le critère de conservation des dimensions vise à vérifier que les objets ne sont pas déformés ni modifiés en taille dans l'espace restitué. Ce critère est vérifié si Dx = DY = Dz = 1.
Enfin, le critère de conservation de la profondeur est vérifié si Z = z.
Après avoir évalué les critères précités (étape E3), le dispositif d'évaluation 10 fournit des informations à l'utilisateur sur le relief restitué, à l'étape E4. Par exemple, ces informations sont affichées sur un écran faisant partie de l'interface homme/machine 14. Les informations affichées correspondent aux paramètres déterminés à l'étape E2 et aux critères déterminés à l'étape E3.
Par exemple, un graphe représentant la profondeur restituée Z en fonction de la profondeur réelle z est affiché. Cela permet à l'utilisateur de visualiser la relation entre Z et z.
Pour chacun des critères évalués à l'étape E3, un symbole peut être affiché pour représenter que le critère est satisfait ou non. L'affichage d'un symbole représentant qu'un critère n'est pas satisfait est un exemple d'émission d'un avertissement au sens de l'invention. Dans un mode de réalisation, un tel avertissement est émis si au moins un critère parmi le critère de confort de visualisation relatif à la profondeur de mise au point et le critère de conservation des formes ou des dimensions n'est pas satisfait.
Les informations affichées à l'étape E4 permettent à l'utilisateur du dispositif d'évaluation 10 de vérifier si le relief restitué correspond à ses souhaits ou non. Selon l'application envisagée, ces informations peuvent être prises en compte de différentes manières, comme décrit plus en détail en références aux figures 5 à 8.
Comme expliqué précédemment, dans une variante, le procédé d'évaluation conforme à l'invention comprend également une étape E5 d'optimisation. L'étape E5 d'optimisation vise à déterminer des nouveaux paramètres de prise de vue lorsque les informations affichées à l'étape E4 montrent que le relief restitué n'est pas conforme au souhait de l'utilisateur. Des exemples de déroulement de l'étape E5 sont décrits plus en détail ci-après en références aux figures 9 à 11.
On décrit maintenant un premier exemple d'application du dispositif d'évaluation 10 et du procédé d'évaluation de la figure 3, en référence à la figure 5.
L'interface homme/machine 14 du dispositif d'évaluation 10 comprend un écran sur lequel est affichée une interface 20. L'interface 20 comprend quatre fenêtres 21 à 24.
La fenêtre 21 permet à l'utilisateur d'introduire des paramètres d'entrées incluant les paramètres de prise de vue, les paramètres de visualisation et les paramètres d'effet précités (étape El).
La fenêtre 22 affiche des informations relatives aux paramètres déterminés à l'étape E2. Ainsi, dans l'exemple représenté, la fenêtre 22 affiche un graphe 25 représentant la relation entre Z et z, et un cadre 26 indiquant la valeur de la disparité horizontale maximale dHmax- La fenêtre 23 affiche des informations relatives aux critères évalués à l'étape E3. Ainsi, dans l'exemple représenté, le symbole 27 « DIV : OK » indique que le critère d'absence de divergence des yeux est vérifié, et le symbole 28 « DOP : X » indique que le critère de confort de visualisation relatif à la profondeur de mise au point n'est pas vérifié. L'affichage du symbole 28 est un exemple d'émission d'un avertissement au sens de l'invention.
Enfin, la fenêtre 24 affiche des informations relatives aux paramètres optimaux déterminés à l'étape E5. Ainsi, dans l'exemple représenté, la fenêtre 24 comprend un cadre 29 indiquant la valeur optimale de l'entraxe b et un cadre 30 indiquant la valeur optimale de la distance focale f. Dans ce premier exemple d'application, un utilisateur désirant créer des images stéréoscopiques peut introduire (étape El, fenêtre 21) les paramètres qu'il envisage d'utiliser. En consultant les informations affichées dans les fenêtres 22 et 23, il peut vérifier que les paramètres qu'il envisage d'utiliser correspondent au relief restitué qu'il souhaite obtenir. Si ce n'est pas le cas, l'utilisateur peut décider de changer certains des paramètres de prises de vue, par exemple en utilisant les paramètres optimaux affichés dans la fenêtre 24.
Ainsi, selon un exemple, si le symbole 28 indique que le critère de confort de visualisation relatif à la profondeur de mise au point n'est pas vérifié, l'utilisateur peut décider d'utiliser une autre valeur d'entraxe que celle envisagée initialement.
On décrit maintenant un deuxième exemple d'application du dispositif d'évaluation 10 et du procédé d'évaluation de la figure 3, en référence à la figure 6.
La figure 6 représente un système 40 de production et de diffusion d'images stéréoscopiques en direct. Le système 40 comprend un dispositif d'évaluation 10 relié à un appareil de prise de vue 3 qui filme une scène 2. Les images filmées par l'appareil de prise de vue 3 sont mises en forme selon un format stéréoscopique, codées et diffusées par un réseau de télécommunication 42 vers des dispositifs de visualisation 4. Les fonctions de mise en forme, de codage et de diffusion sont représentées par un unique bloc fonctionnel 41 sur la figure 6, mais elles peuvent être réalisées par plusieurs entités matérielles.
Dans le système 40, l'entraxe b de l'appareil de prise de vue 3 peut être commandé. Le dispositif d'évaluation 10 détermine une valeur optimale pour l'entraxe b de l'appareil de prise de vue 3, et utilise cette valeur comme consigne pour commander l'appareil de prise de vue 3. Ainsi, un caméraman peut régler la distance focale f de l'appareil de prise de vue 3 en fonction de la scène 2, et l'entraxe b sera commandé automatiquement par le dispositif d'évaluation 10.
Plus précisément, dans l'exemple représenté, le dispositif d'évaluation 10 obtient, par une liaison 43, la distance focale f, l'entraxe b et la distance de convergence de de l'appareil de prise de vue 3.
Les paramètres de visualisation sont introduits par l'utilisateur du dispositif d'évaluation 10. Par exemple, l'utilisateur sélectionne un service cible dans une liste prédéfinie, dans laquelle chaque service cible correspond notamment à une distance de visualisation E prédéfinie. La liste de service cible contient par exemple un service « Télévision » et un service « WebTV » correspondant à une distance de visualisation inférieure à celle du service « Télévision ».
Dans une variante, les paramètres de prises de vue ne comprennent pas les profondeurs Zf0regraund et zbackground de la scène 2. Dans ce cas, le dispositif d'évaluation 10 obtient également les images filmées par l'appareil de prise de vue 3 par une liaison 44.
En fonction des paramètres obtenus, et éventuellement de l'analyse des images obtenues pour déterminer les disparités horizontales croisée et non croisées, le dispositif d'évaluation détermine une consigne de commande pour la valeur de l'entraxe b, et l'envoie à l'appareil de prise de vue 3. En pratique, les liaisons 43, 44 et 45 peuvent correspondre à un unique câble reliant l'appareil de prise de vue 3 au dispositif d'évaluation 10. En variante, le dispositif d'évaluation 10 peut être intégré à l'appareil de prise de vue 3.
On décrit maintenant un troisième exemple d'application du dispositif d'évaluation 10 et du procédé d'évaluation de la figure 3, en référence à la figure 7.
La figure 7 représente un système 50 de postproduction d'images stéréoscopiques. Le système 50 comprend un dispositif d'évaluation 10 relié à un support d'information 51 par une liaison 52. Le support d'information 51 mémorise des images stéréoscopiques associées à des métadonnées. Les métadonnées comprennent des paramètres de prises de vue des images stéréoscopiques.
Le dispositif d'évaluation 10 peut obtenir des paramètres de visualisation, par exemple comme décrit précédemment en référence à la figure 6. Par ailleurs, lorsque les métadonnées ne comprennent pas les profondeurs Zf0reground et zbackground de la scène filmées, le dispositif d'évaluation 10 obtient également les images filmées mémorisées sur le support d'information 10.
En fonction des paramètres obtenus, et éventuellement de l'analyse des images obtenues pour déterminer les disparités horizontales croisée et non croisées, le dispositif d'évaluation 10 peut afficher des informations relatives au relief restitué, par exemple sur une interface similaire à l'interface 20 de la figure 5.
On décrit maintenant un quatrième exemple d'application du dispositif d'évaluation 10 et du procédé d'évaluation de la figure 3, en référence à la figure 8.
La figure 8 représente un système 60 de mesure de la qualité de service d'un service de télévision en relief. Le système 60 comprend un dispositif d'évaluation 10 relié à un décodeur 61 par une liaison 62. En variante, le décodeur 61 est intégré dans le dispositif d'évaluation 10.
Le décodeur 61 obtient un flux vidéo d'images stéréoscopiques diffusées dans un réseau 63. Le flux contient des métadonnées comprenant des paramètres de prise de vue des images stéréoscopiques. Ainsi, le décodeur 61 décode le flux vidéo et transmet les métadonnées, et éventuellement les images, au dispositif d'évaluation 10. Le dispositif d'évaluation 10 peut alors afficher des informations relatives au relief restitué, de manière similaire au cas de la figure 7.
On décrit maintenant, en référence à la figure 9, un premier exemple de déroulement de l'étape E5 d'optimisation. Dans cet exemple, l'étape E5 vise à déterminer des valeurs optimales pour l'entraxe b et pour la distance de convergence de, permettant de vérifier le critère de confort de visualisation relatif à la profondeur de mise au point, et si possible le critère de conservation des formes et le critère de conservation de dimension. L'algorithme décrit en référence à la figure 9 est notamment adapté à une application du type de celle représentée à la figure 6, dans laquelle la distance focale f est imposée par le caméraman, l'entraxe b et la distance de convergence de pouvant être commandés par le dispositif d'évaluation 10.
Ci-après, on utilise les indices i et f pour désigner des valeurs initiales et finales, respectivement. A l'étape Jl, le dispositif d'évaluation 10 détermine des valeurs initiales b, et dq pour l'entraxe et la distance de convergence. Par exemple, le dispositif d'évaluation 10 utilise les valeurs b et de obtenues à l'étape El.
En variante, le dispositif d'évaluation 10 détermine des valeurs initiales b, et dci pour lesquelles la conservation des formes et des dimensions est vérifiée pour la distance d'intérêt DROi. En effet, dans des conditions de tournage normales, le caméraman dispose du libre choix de la focale de prise de vue. Par exemple, si celui-ci veut filmer un objet assez éloigné, il utilisera une focale longue (téléobjectif). Au contraire, s'il désire avoir une vue panoramique de la scène, il utilisera une focale courte (grand angle). La focale de prise de vue a donc de fortes chances de ne pas être celle correspondant à une conformité totale entre le relief réel et le relief restitué. En conséquence, l'utilisation courante de focales variables a conduit à la définition de la conformité relative des formes et des dimensions, dans le cas d'une focale différente de celle définie pour la conformité totale. Cette conformité doit permettre une meilleure visualisation de l'objet du plus grand intérêt. Pour cela, la conformité relative est définie pour imposer une reproduction conforme du relief à l'endroit où se situe l'objet intéressant. Toutefois, la conformité des formes et des dimensions ne sera réalisée complètement qu'à la distance d'intérêt DROi de la scène. Plus les objets seront éloignés de la distance d'intérêt, plus ceux-ci seront perçus déformés.
Le simple fait de changer la focale implique l'évolution des autres facteurs tels que l'entraxe ainsi que la distance de convergence suivant des lois géométriques précises. Les hypothèses posées se résument par la conservation des formes (Dxz=l) ainsi que par des distorsions latérales et en profondeur égales à l'unité (Dz=l et Dx= l).
Ainsi, dans cette variante, le dispositif d'évaluation 10 détermine des valeurs initiales b, et dq sur la base des équations suivantes :
f E
b; = B.B avec β =— et fT =— c'est-à-dire la focale nécessaire pour une conformité fT M
totale.
fb , B E - M.f ,
de, = -— avec h = —b
2.h 2.M 2.M.DR0I
Ensuite, à l'étape J2, le dispositif d'évaluation 10 détermine quatre valeurs pour l'entraxe b :
une valeur permettant d'assurer que Zf0regraund ZminDoF
Figure imgf000017_0001
une
Figure imgf000018_0001
une valeur permettant d'assurer la conservation des formes (Dxz=l)
Figure imgf000018_0002
une valeur permettant d'assurer la conservation des dimensions (Dx=l):
Figure imgf000018_0003
Puis, à l'étape J3, le dispositif d'évaluation 10 détermine la valeur optimale pour l'entraxe bf en sélectionnant la plus petite des valeurs déterminées à l'étape J2. Si les valeurs de bf Dxz et debf Dx sont égales, on sélectionne bf Dx s\ la distorsion en profondeur Dz est comprise entre 0.5 et 2 pour la distance d'intérêt D
Les valeurs bf mjnDOF ët bf maxDOF représentent des seuils au-delà desquels les conditions correspondantes ne sont plus vérifiées. Ainsi, pour toute valeur de bf inférieure ou égale au minimum de bf ^o^ et b/ Ie critère de confort de visualisation sera respecté.
Autrement dit, si les valeurs bf Dxz et bf Dx sont supérieures au minimum de bf ^nDOF et b/ maxDOF , la sélection de la valeur minimale aura pour effet que le critère de confort de visualisation sera respecté, mais pas les critères de conservation des formes et des dimensions. Par contre, si la valeur bf Dxz et/ou bf Dx est inférieure au minimum de bf mjnDOF ët bf maxDOF , la sélection de la valeur minimale aura pour effet que le critère de confort de visualisation sera respecté et que le critère de conservation des formes et/ou des dimensions sera également respecté.
A l'étape J4, cette étape pouvant être facultative et laissée au libre choix de l'utilisateur, le dispositif d'évaluation 10 détermine quatre valeurs pour la distance de convergence de :
- une valeur permettant d'assurer que Zforegraund > = ZminDoF :
_ ^ · f
âc =
- une valeur permettant d'assurer que Zbackgraund < = ZmaxD0F :
, _ M -f -Z
. » 7 R 7 R
.
- une valeur permettant d'assurer la conservation des formes (Dxz=l) : M.fbf .O
M.f.bf + B.DR01 - E.b
une valeur permettant d'assurer la conservation des dimensions (Dx=l)
M.fbf .DR0I
de ——
f'Dx M.f.bf + B.DR0I - M.B.f
Puis, à l'étape J5, le dispositif d'évaluation 10 détermine la valeur optimale pour la distance de convergence en sélectionnant parmi des valeurs déterminées à l'étape J4. Plus précisément :
Si bf = bf ,min DOF a!ors ^ prend la valeur de dcf maxDOF ou dcf Dxz ou dcf Dx
• comprise entre zforeground et dct la plus proche de dct (si elle existe et si dct > Z foreground )
• inférieure à dci et la plus proche de dci (si elle existe)
• sinon dcf - dct
Si bf = b f ,^ DOF ai°rs ^ prend la valeur de dcf minDOFou dcf Sxz ou dcf Dx
· comprise entre dct et dR0I et la plus proche de dct (si elle existe et si dct <
• supérieure à dct et la plus proche de dct (si elle existe et si dct > dR0I )
• sinon dcf - dct
Si bf = bf Dxz ou bf = bf Dx alors dcf = dci
Grâce aux étapes Jl à J5, il est donc possible de déterminer une valeur d'entraxe optimale bf et éventuellement une nouvelle valeur de distance de convergence optimale dQ, qui permettent d'assurer que le critère de confort de visualisation relatif à la distance de mise au point est vérifié, et éventuellement d'assurer également que le critère de conservation des formes est vérifié.
On décrit maintenant, en référence à la figure 10, un deuxième exemple de déroulement de l'étape E5 d'optimisation. Dans cet exemple, l'étape E5 vise à déterminer une nouvelle valeur de distance de prise de vue et une valeur optimale pour la distance focale f, permettant de vérifier le critère de confort de visualisation relatif à la profondeur de mise au point, et si possible le critère de conservation des formes et le critère de conservation de dimension. L'algorithme décrit en référence à la figure 10 est notamment adapté à une prise de vue avec un appareil de prise de vue 3 à deux objectifs fixes l'un par rapport à l'autre, dans lequel l'entraxe b ne peut pas être modifié. A l'étape Kl, le dispositif d'évaluation 10 détermine des valeurs initiales fi et dq pour la distance focale et la distance de convergence. Par exemple, le dispositif d'évaluation 10 utilise les valeurs f et de obtenues à l'étape El.
Ensuite, à l'étape K2, le dispositif d'évaluation 10 détermine des nouvelles valeurs pour la profondeur réelle d'avant-plan zforeground, la profondeur réelle d'arrière-plan zbackgraund, et la distance d'intérêt D Oi. Plus précisément, le dispositif d'évaluation détermine :
- deux valeurs de Zf0regraund, f permettant d'assurer que Zf0regraund >= ZminDoF :
ζ ± δ
et S = ζ2 - .υ.ρ
Figure imgf000020_0001
deux valeurs de zbackground; f permettant d'assurer que Zbackground <= ZmaxD0F
- ζ ± δ
et S = ζ2 - .υ.ρ
Figure imgf000020_0002
deux valeurs DROi, f permettant d'assurer la conservation des formes (Dxz=l)
- ζ ± δ
D et δ = ζ - 4.υ.ρ
Avec ζ = {dc{
Figure imgf000020_0003
Ensuite, à l'étape K3, le dispositif d'évaluation 10 détermine des écarts entre initiales et finales :
Aforeground = z foreground ^— Zforeground .
Abackground = zbackground - zbackgmund . Puis, à l'étape K4, le dispositif d'évaluation 10 détermine un écart Δ en sélectionnant le plus élevé des écarts de l'étape K3. En sélectionnant l'écart Δ le plus grand, on donne priorité à la vérification du critère de confort de visualisation relatif à la profondeur de mise au point, et si possible on vérifie également le critère de conservation des formes, voire des dimensions.
En effet, les écarts Aforeground et Abackground représentent des seuils en-deçà desquels les conditions correspondantes ne sont plus vérifiées. Ainsi, pour toute valeur de Δ supérieure ou égale au maximum de Aforeground et Abackground, le critère de confort de visualisation sera respecté.
Autrement dit, si l'écart ^Dxz=ï est inférieur au maximum de Aforeground et Abackground, la sélection de la valeur maximale aura pour effet que le critère de confort de visualisation sera respecté, mais pas le critère de conservation des formes. Par contre, si l'écart ΑΒΧΖ =Ι est supérieur au maximum de Aforeground et Abackground, la sélection de la valeur maximale aura pour effet que le critère de confort de visualisation sera respecté et que le critère de conservation des formes sera également respecté.
Enfin, à l'étape K4, le dispositif d'évaluation 10 détermine des nouvelles valeurs pour la distance d'avant plan dforeground, la distance d'arrière plan dbackground, la distance d'intérêt DROi, la distance de convergence de et la distance focale f :
d foreground ,f = d foreground, i + A
dcf = dci + A
DROI f ~ DR0I I + A
d background ,f = d background ,i + A
r _ r ^ROI f
f ~ ~ UnROI i
Dans une application du type de celle représentée à la figure 5, l'utilisateur d'un appareil de prise de vue 3 à entraxe b fixe peut, en fonction des valeurs précitées affichées dans la fenêtre 24, s'approcher ou s'éloigner de la scène 2 et modifier la focale pour garder le cadre constant.
On décrit maintenant, en référence à la figure 11, un troisième exemple de déroulement de l'étape E5 d'optimisation. Dans cet exemple, l'étape E5 vise à déterminer une valeur optimale pour la distance focale f, permettant de vérifier le critère de confort de visualisation relatif à la profondeur de mise au point, et si possible le critère de conservation des formes et le critère de conservation des dimensions.
A l'étape Ll, le dispositif d'évaluation 10 détermine une valeur initiale f, pour la distance focale. Par exemple, le dispositif d'évaluation 10 utilise la valeur f obtenue à l'étape El.
Ensuite, à l'étape L2, le dispositif d'évaluation 10 détermine quatre valeurs pour la distance focale f :
- une valeur permettant d'assurer que Zf0regraund > = ZminDoF : une ZmaxD0F
Figure imgf000022_0001
une valeur permettant d'assurer la conservation des formes (Dxz= l)
Eb - B.D RtOI
f D ROI ^
M b 1—
dc j
une valeur permettant d'assurer la conservation des dimensions (Dx= l):
Figure imgf000022_0002
Puis, à l'étape L3, le dispositif d'évaluation 10 détermine la valeur optimale pour la focale f en sélectionnant la plus petite des valeurs déterminées à l'étape L2. Si les valeurs de fD et de fDx sont égales, on sélectionne fDxz s\ la distorsion en profondeur Dz est comprise entre 0.5 et 2 pour la distance d'intérêt D Oi.
En sélectionnant la valeur optimale de la distance focale f de la sorte, on donne priorité à la vérification du critère de confort de visualisation relatif à la profondeur de mise au point, et si possible on vérifie également le critère de conservation des formes, voire des dimensions.
En effet, les valeurs f^ oop et fmax D0F représentent des seuils au-delà desquels les conditions correspondantes ne sont plus vérifiées. Ainsi, pour toute valeur de f inférieure ou égale au minimum de f^ ^p et f^^p , le critère de confort de visualisation sera respecté.
Autrement dit, si les valeurs fDxz=1 et fDx=1 sont supérieures au minimum de f^ D0F et max DOF ' '3 sélection de la valeur minimale aura pour effet que le critère de confort de visualisation sera respecté, mais pas les critères de conservation des formes et des dimensions. Par contre, si la valeur fDxz=1 et/ou Dx=1 est inférieure au minimum de fMn D0F ët f^ ^p , la sélection de la valeur minimale aura pour effet que le critère de confort de visualisation sera respecté et que le critère de conservation des formes et/ou des dimensions sera également respecté.
L'algorithme de la figure 9, 10 ou 11 peut être utilisé, en fonction des contraintes de l'application et/ou des paramètres que l'utilisateur accepte de modifier. Les contraintes de l'application et les paramètres pouvant être modifiés sont par exemple précisés à l'étape El. De manière générale, au cours des étapes J2 et J3, K3 et K4 ou L2 et L3, la détermination d'une valeur optimisée d'un paramètre de prise de vue, c'est-à-dire de bf, de Δ ou de ff, comprend :
- La détermination d'une première valeur du paramètre de prise de vue délimitant une plage dans laquelle le critère de confort de visualisation est vérifié. Il s'agit du minimum de bf minDOF et bf maxDOF dans 'e cas de la figure 9, du maximum de Aforeground et Abackground dans le cas de la figure 10, et du minimum de f^D0F et f^ ^p dans le cas de la figure 11.
- La détermination d'au moins une deuxième valeur du paramètre de prise de vue avec laquelle un critère de conservation des formes ou des dimensions est vérifié. Il s'agit de bf Dxz et/ou bf Dx dans le cas de la figure 9, de .D =l dans le cas de la figure 10, et de fDxz=1 et fDx=l dans le cas de la figure 11.
- La sélection de la première valeur si la deuxième valeur n'est pas dans ladite plage ou de sélection de la deuxième valeur si la deuxième valeur est dans ladite plage.
On a donné ci-dessus plusieurs équations pouvant être utilisées pour déterminer des paramètres de prise de vue optimaux. Ces équations sont basées sur les équations obtenues avec la prise de vue parallèle qui sont moins complexes que celles liées à la prise de vue avec convergence physique des caméras. On démontre que le long de l'axe de la profondeur restituée Z (X=Y=0), la valeur de Z et des distorsions en profondeur sont équivalentes avec une erreur relative inférieure à l'échantillonnage des écrans. Pour cette raison, l'optimisation du relief et des distorsions propose donc des nouveaux paramètres de prise de vue calculés à partir des équations issues de la prise de vue parallèle.

Claims

REVENDICATIONS
1. Procédé d'évaluation d'une chaîne (1) de production et de visualisation d'images stéréoscopiques d'une scène (2), mis en œuvre par un ordinateur (10), comprenant :
- une étape (El) d'obtention de paramètres de prise de vue et de paramètres de visualisation caractérisant ladite chaîne (1) de production et de visualisation,
- une étape (E3) d'évaluation d'un critère de qualité de visualisation en fonction desdits paramètres de prise de vue et desdits paramètres de visualisation, ledit critère de qualité de visualisation comprenant un critère confort de visualisation évalué en vérifiant que, pour toute profondeur réelle (z) de la scène (2), la profondeur restituée (Z) est comprise dans un intervalle (ZminDOF, ZmaXDOF) prédéterminé,
caractérisé en ce que le critère de qualité de visualisation comprend en outre un critère de conservation des formes ou des dimensions et en ce que le procédé comprend:
- une étape (E3) d'évaluation du critère de conservation des formes ou des dimensions en vérifiant que la forme ou la dimension des objets restitués de la scène n'est pas modifiée,
- une étape (E4) d'émission d'un avertissement lorsque au moins un des critères confort de visualisation ou conservation des formes ou des dimensions n'est pas satisfait.
2. Procédé d'évaluation selon la revendication 1, caractérisé en ce qu'il comporte une étape (E5) d'optimisation incluant la détermination d'une valeur optimisée (bf, dQ, ff, df0regraund, d ackground, f, D Oi, f) d'au moins un paramètre de prise de vue permettant de vérifier le critère de qualité de visualisation,
caractérisé en ce que l'étape (E5) d'optimisation comprend :
- une étape (J2, K3, L2) de détermination d'une première valeur du paramètre de prise de vue délimitant une plage dans laquelle le critère de confort de visualisation est satisfait,
- une étape (J2, K3, L2) de détermination d'au moins une deuxième valeur du paramètre de prise de vue avec laquelle le critère de conservation des formes ou des dimensions est satisfait,
- une étape (J3, K4, L3) de sélection de la première valeur si la deuxième valeur n'est pas dans ladite plage ou de sélection de la deuxième valeur si la deuxième valeur est dans ladite plage.
3. Procédé d'évaluation selon la revendication 2, dans lequel la première valeur est une valeur d'entraxe ( bf minDOF , bf maxDOF ) représentant un seuil au-delà duquel le critère de confort de visualisation n'est pas satisfait, ladite au moins une deuxième valeur comprend une valeur d'entraxe ( bf D ) pour laquelle le critère de conservation des formes est satisfait et une valeur d'entraxe {bf Dx ) pour laquelle le critère de conservation des dimensions est satisfait, l'étape de sélection comprenant la sélection d'une valeur minimale.
4. Procédé d'évaluation selon la revendication 2, dans lequel la première valeur est un écart (Aforeground, Abackground) représentant un seuil en-deçà duquel le critère de confort de visualisation n'est pas satisfait, ladite au moins une deuxième valeur comprend un écart ( AD =i ) pour lequel le critère de conservation des formes est satisfait, l'étape de sélection comprenant la sélection d'un écart maximal.
5. Procédé d'évaluation selon la revendication 2, dans lequel la première valeur est une valeur de focale ( f^ ^p , f^ ooF ) représentant un seuil au-delà duquel le critère de confort de visualisation n'est pas satisfait, ladite au moins une deuxième valeur comprend une valeur de focale ( fDxz ) pour laquelle le critère de conservation des formes est satisfait et une valeur de focale ( fDx ) pour laquelle le critère de conservation des dimensions est satisfait, l'étape de sélection comprenant la sélection d'une valeur minimale.
6. Procédé d'évaluation selon la revendication 2, comprenant une étape d'affichage de ladite valeur optimisée sur une interface homme/machine (14).
7. Procédé d'évaluation selon la revendication 2, comprenant une étape de commande d'un appareil de prise de vue (3) en fonction de ladite valeur optimisée.
8. Procédé d'évaluation selon la revendication 7, dans lequel l'étape (El) d'obtention comprend l'obtention de paramètres de prises de vue et/ou d'images stéréoscopiques de la part de l'appareil de prise de vue (3), ladite valeur optimisée étant déterminée en fonction des paramètres de prises de vue et/ou des images stéréoscopiques obtenues de la part de l'appareil de prise de vue (3).
9. Procédé d'évaluation selon la revendication 2, dans lequel l'étape (E5) d'optimisation comprend une étape (J3) de détermination d'une valeur optimisée d'un entraxe (bf) et une étape
(J5) de détermination d'une valeur optimisée d'une distance de convergence (dQ) d'un appareil de prise de vue (3), en fonction d'une distance focale (0 déterminée.
10. Procédé d'évaluation selon la revendication 2, dans lequel l'étape (E5) d'optimisation comprend une étape (K5) de détermination d'une valeur optimisée d'au moins une distance de prise de vue (dforeground, dbackground, DROi, f), d'une distance de convergence (dcf) et d'une distance focale (ff) d'un appareil de prise de vue (3) en fonction d'un entraxe (b) déterminé.
11. Procédé d'évaluation selon la revendication 2, dans lequel l'étape (E5) d'optimisation comprend une étape (L3) de détermination d'une valeur optimisée d'une distance focale (ff) d'un appareil de prise de vue (3) en fonction d'un entraxe (b) et d'une distance de convergence (de) déterminés.
12. Procédé d'évaluation selon la revendication 1, dans lequel l'étape (El) d'obtention comprend l'obtention de métadonnées associées à des images stéréoscopiques, lesdites métadonnées incluant au moins certains desdits paramètres de prise de vue desdites images stéréoscopiques.
13. Programme d'ordinateur comportant des instructions pour l'exécution des étapes d'un procédé d'évaluation selon la revendication 1 lorsque ledit programme est exécuté par un ordinateur.
14. Support d'informations lisible par un ordinateur, et comportant des instructions d'un programme d'ordinateur selon la revendication 13.
15. Dispositif d'évaluation (10) d'une chaîne (1) de production et de visualisation d'images stéréoscopiques d'une scène (2), comprenant :
- des moyens (15) d'obtention de paramètres de prise de vue et de paramètres de visualisation caractérisant ladite chaîne (1) de production et de visualisation,
- des moyens (11) d'évaluation d'un critère de qualité de visualisation en fonction desdits paramètres de prise de vue et desdits paramètres de visualisation, ledit critère de qualité de visualisation comprenant un critère confort de visualisation évalué en vérifiant que, pour toute profondeur réelle (z) de la scène (2), la profondeur restituée (Z) est comprise dans un intervalle (ZminDOF, ZmaxD0F) prédéterminé,
caractérisé en ce que le critère de qualité de visualisation comprend en outre un critère de conservation des formes ou des dimensions et en ce que le dispositif comprend :
- des moyens d'évaluation du critère de conservation des formes ou des dimensions en vérifiant que la forme ou la dimension des objets restitués de la scène n'est pas modifiée,
- des moyens (14) d'émission d'un avertissement lorsque au moins un des critères confort de visualisation et conservation des formes ou des dimensions n'est pas satisfait.
PCT/FR2011/052958 2010-12-15 2011-12-13 Procédé et dispositif servant à optimiser la visualisation d'images stéréoscopiques WO2012080648A1 (fr)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR1060564A FR2969457A1 (fr) 2010-12-15 2010-12-15 Procede et dispositif d'evaluation d'une chaine de production et de visualisation d'images stereoscopiques
FR1060564 2010-12-15

Publications (1)

Publication Number Publication Date
WO2012080648A1 true WO2012080648A1 (fr) 2012-06-21

Family

ID=44065125

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/FR2011/052958 WO2012080648A1 (fr) 2010-12-15 2011-12-13 Procédé et dispositif servant à optimiser la visualisation d'images stéréoscopiques

Country Status (2)

Country Link
FR (1) FR2969457A1 (fr)
WO (1) WO2012080648A1 (fr)

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4647965A (en) * 1983-11-02 1987-03-03 Imsand Donald J Picture processing system for three dimensional movies and video systems
US5175616A (en) * 1989-08-04 1992-12-29 Her Majesty The Queen In Right Of Canada, As Represented By The Minister Of National Defence Of Canada Stereoscopic video-graphic coordinate specification system
EP0641132A1 (fr) * 1993-08-26 1995-03-01 Matsushita Electric Industrial Co., Ltd. Appareil d'affichage et de prise de vues stéréoscopiques
EP1085769A2 (fr) * 1999-09-15 2001-03-21 Sharp Kabushiki Kaisha Dispositif de prise d'images stéréoscopiques
EP1089573A2 (fr) * 1999-09-15 2001-04-04 Sharp Kabushiki Kaisha Méthode de génération d'une image stéréoscopique
US20020030675A1 (en) * 2000-09-12 2002-03-14 Tomoaki Kawai Image display control apparatus
US20050089212A1 (en) * 2002-03-27 2005-04-28 Sanyo Electric Co., Ltd. Method and apparatus for processing three-dimensional images
EP1619903A1 (fr) * 2003-04-17 2006-01-25 Sony Corporation Dispositif de traitement d'image en vision tridimensionnelle, procede permettant d'obtenir une image en vision tridimensionnelle, et procede d'affichage d'image
US20060192851A1 (en) * 2005-02-28 2006-08-31 Victor Company Of Japan, Ltd. Video data processing apparatus, picture reproducing apparatus, and computer programs related thereto
EP1883250A1 (fr) * 2005-05-10 2008-01-30 Kazunari Era Dispositif de generation d'images de vue stereographiques et programme
US20080043095A1 (en) * 2006-04-04 2008-02-21 Anthony Vetro Method and System for Acquiring, Encoding, Decoding and Displaying 3D Light Fields

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4647965A (en) * 1983-11-02 1987-03-03 Imsand Donald J Picture processing system for three dimensional movies and video systems
US5175616A (en) * 1989-08-04 1992-12-29 Her Majesty The Queen In Right Of Canada, As Represented By The Minister Of National Defence Of Canada Stereoscopic video-graphic coordinate specification system
EP0641132A1 (fr) * 1993-08-26 1995-03-01 Matsushita Electric Industrial Co., Ltd. Appareil d'affichage et de prise de vues stéréoscopiques
EP1085769A2 (fr) * 1999-09-15 2001-03-21 Sharp Kabushiki Kaisha Dispositif de prise d'images stéréoscopiques
EP1089573A2 (fr) * 1999-09-15 2001-04-04 Sharp Kabushiki Kaisha Méthode de génération d'une image stéréoscopique
US20020030675A1 (en) * 2000-09-12 2002-03-14 Tomoaki Kawai Image display control apparatus
US20050089212A1 (en) * 2002-03-27 2005-04-28 Sanyo Electric Co., Ltd. Method and apparatus for processing three-dimensional images
EP1619903A1 (fr) * 2003-04-17 2006-01-25 Sony Corporation Dispositif de traitement d'image en vision tridimensionnelle, procede permettant d'obtenir une image en vision tridimensionnelle, et procede d'affichage d'image
US20060192851A1 (en) * 2005-02-28 2006-08-31 Victor Company Of Japan, Ltd. Video data processing apparatus, picture reproducing apparatus, and computer programs related thereto
EP1883250A1 (fr) * 2005-05-10 2008-01-30 Kazunari Era Dispositif de generation d'images de vue stereographiques et programme
US20080043095A1 (en) * 2006-04-04 2008-02-21 Anthony Vetro Method and System for Acquiring, Encoding, Decoding and Displaying 3D Light Fields

Also Published As

Publication number Publication date
FR2969457A1 (fr) 2012-06-22

Similar Documents

Publication Publication Date Title
US10165249B2 (en) Method for smoothing transitions between scenes of a stereo film and controlling or regulating a plurality of 3D cameras
EP0897549B1 (fr) Dispositif de formation d&#39;une image autostereoscopique et systeme le comprenant
US6798406B1 (en) Stereo images with comfortable perceived depth
EP2070338B1 (fr) Dispositif d&#39;affichage pour la visualisation stéréoscopique
US8711204B2 (en) Stereoscopic editing for video production, post-production and display adaptation
FR2917845A1 (fr) Procede de visualisation d&#39;une sequence d&#39;images produisant une sensation de relief
Devernay et al. Stereoscopic cinema
AU2011200146A1 (en) Method and apparatus for processing video games
JP2014502818A (ja) 画像処理のための一次像および二次像画像取込装置およびその方法
KR20120020131A (ko) 입체 상의 3ｄ 객체를 상대적인 깊이로 삽입하는 방법
JP2000207549A (ja) 画像処理装置
EP2801198B1 (fr) Traitement de séquences d&#39;images 3d
JP5420075B2 (ja) 立体画像再生装置、その視差調整方法、視差調整プログラム、及び撮影装置
JP2010531102A5 (fr)
KR101630444B1 (ko) 스테레오스코픽 디지털 영화에서의 최적화된 모션 재생을 위한 방법과 장치
US8934730B2 (en) Image editing method and associated method for establishing blur parameter
US20130093843A1 (en) Method for configuring stereoscopic moving picture file
Vatolin et al. Trends in S3D-movie quality evaluated on 105 films using 10 metrics
WO2012080648A1 (fr) Procédé et dispositif servant à optimiser la visualisation d&#39;images stéréoscopiques
Chen Multidimensional characterization of quality of experience of stereoscopic 3D TV
US20160344997A1 (en) Look-ahead convergence for optimizing display rendering of stereoscopic videos and images
US20140002615A1 (en) System and method for correcting binocular photography with homographic transformations
FR2968108A1 (fr) Procede de reduction de la taille d’une image stereoscopique
TWI624803B (zh) 深度信號資料
EP2587812A2 (fr) Procédé permettant de configurer un fichier d&#39;images animées stéréoscopiques

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11811096

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 11811096

Country of ref document: EP

Kind code of ref document: A1