WO2023105164A1 - Procédé et dispositif de caractérisation de distorsions dans une caméra plénoptique - Google Patents

Procédé et dispositif de caractérisation de distorsions dans une caméra plénoptique Download PDF

Info

Publication number
WO2023105164A1
WO2023105164A1 PCT/FR2022/052275 FR2022052275W WO2023105164A1 WO 2023105164 A1 WO2023105164 A1 WO 2023105164A1 FR 2022052275 W FR2022052275 W FR 2022052275W WO 2023105164 A1 WO2023105164 A1 WO 2023105164A1
Authority
WO
WIPO (PCT)
Prior art keywords
microlenses
image
plenoptic camera
matrix
pattern
Prior art date
Application number
PCT/FR2022/052275
Other languages
English (en)
Inventor
Ahmed Nasreddinne BENAICHOUCHE
Original Assignee
Safran
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Safran filed Critical Safran
Publication of WO2023105164A1 publication Critical patent/WO2023105164A1/fr

Links

Classifications

    • G06T5/80—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10052—Images from lightfield camera

Definitions

  • the present invention relates to a method and device for characterizing distortions in a plenoptic camera.
  • a plenoptic camera is a known device which differs from other cameras in that it comprises a matrix of microlenses.
  • a matrix of microlenses makes it possible to capture light depth of field information, made up of the light intensity of a scene, but also the direction of arrival of the light rays. This property is for example exploited to produce a three-dimensional image of a scene, as a stereoscopic camera would also do, but with less bulk.
  • a plenoptic camera comprises a main lens located upstream of the matrix, and a photosensitive sensor downstream of the matrix.
  • Radial distortion is an optical aberration that has the effect of undesirably deflecting the propagation of light rays passing through the main lens, and therefore creating visual artifacts in an image acquired by the plenoptic camera. By characterizing this radial distortion, it can be compensated by adequate post-processing.
  • An object of the invention is to establish a diagnosis on the level of optical aberrations caused by a camera without requiring calculations as costly as those used in the methods described above.
  • a method for characterizing distortions in a plenoptic camera comprising an array of microlenses and a photosensitive surface, the method comprising the following steps: obtaining a geometric model of the array of microlenses indicating how the microlenses are positioned relative to each other; obtaining an image of a pattern, the image having been acquired by the plenoptic camera, the pattern having a characteristic point; from the image and from the geometric model, identification of a set of adjacent microlenses of the matrix which project the characteristic point into different pixels of the image; for each of the adjacent microlenses of the set, calculation of a difference between a pixel of the image in which the characteristic point is projected by the microlens and a pixel of the image coming from a point of the photosensitive surface passing through a central optical axis of the microlens; and estimating a radial distortion caused by the array of microlenses, from each calculated deviation, from the geometric model of the array of
  • the method according to the first aspect can also comprise the following optional characteristics, taken alone or combined with each other when technically possible.
  • the target is of uniform color with the exception of a pattern shown by the target, the characteristic point being defined by the pattern.
  • the method according to the first aspect comprises a repetition of the steps of identification and calculation of deviations for several characteristic points presented by the sight and having different positions, the radial distortion being estimated after the repetition.
  • the method according to the first aspect comprises a repetition of the steps of obtaining the image acquired by the plenoptic camera, of identifying and calculating deviations after a displacement of the target relative to the plenoptic camera, the distortion radial being estimated after the repetition.
  • the method according to the first aspect comprises a repetition of the steps of obtaining the image acquired by the plenoptic camera, of identifying and calculating the deviations after replacing the target by a second target having a second characteristic point not presented by the target, the radial distortion being estimated after the repetition.
  • the pattern and the second pattern are successively displayed by the same display screen.
  • the method according to the first aspect comprises a repetition of the steps of identification and calculation of deviations so that at least deviation is calculated for each microlens of the matrix.
  • the method according to the first aspect comprises a step of determining an orientation of the matrix of microlenses with respect to the photosensitive surface, the radial distortion also being estimated from the determined orientation.
  • the determination of the orientation of the array of microlenses with respect to the photosensitive surface comprises the following steps: obtaining a reference image acquired by the plenoptic camera, the reference image showing patterns distinct from each other others and respectively from different microlenses of the matrix; and estimation of a homography between a plane of the matrix of microlenses and a plane of the photosensitive surface, from respective positions of the patterns in the reference image and from the geometric model of the matrix of microlenses.
  • the method according to the first aspect comprises an estimation of a radial distortion and/or of a depth distortion caused by a lens of the plenoptic camera arranged upstream of the array of microlenses, from the radial distortion caused by the matrix of microlenses having been estimated.
  • a method for calibrating a plenoptic camera comprising the following steps: characterization of distortions in the plenoptic camera by means of the method according to the first aspect; and generation of a calibration model suitable for reconstructing a three-dimensional image of a scene from at least one image acquired by the plenoptic camera taking into account the estimated distortion.
  • a device for calibrating a plenoptic camera comprising a matrix of microlenses and a photosensitive surface.
  • This device comprises a memory configured to store a geometric model of the array of microlenses indicating how the microlenses are positioned with respect to each other, and an image of a target, the image having been acquired by the plenoptic camera, the target presenting a characteristic point.
  • This device also comprises at least one processor configured to implement the following steps: from the image of the pattern and from the geometric model, identify adjacent microlenses of the matrix which project the characteristic point into different pixels of the image ; for each of the identified adjacent microlenses, calculating a difference between a pixel of the image in which the characteristic point is projected by the microlens and a pixel of the image coming from a point of the photosensitive surface passing through an optical axis of the microlens; and estimating a radial distortion caused by the array of microlenses, based on the calculated deviations, the geometric model and a position of the characteristic point.
  • kits comprising a plenoptic camera comprising a matrix of microlenses and a sensor having a photosensitive surface, and a device for calibrating the plenoptic camera according to the third aspect.
  • Figure 1 schematically illustrates various optical components of a plenoptic camera 1, according to a first model.
  • FIG. 2 schematically illustrates various optical components of a plenoptic camera 1, according to a second model.
  • FIG. 3 schematically illustrates a system comprising a plenoptic camera 1 and a device for characterizing the plenoptic camera 1, according to one embodiment.
  • FIG. 4 is a flowchart of the steps of a method for calibrating a plenoptic camera 1, according to one embodiment.
  • FIG. 5 details the substeps of a step of the method of FIG. 4, according to one embodiment.
  • Figure 6 and Figure 7 each represent the projection of the same point on a surface by several microlenses (on the left of the figure), and an equivalent projection of several points on a surface by a single microlens (on the right of the figure ).
  • a plenoptic camera 1 comprises a lens 2, a matrix 4 of microlenses and a photosensitive sensor 6.
  • the lens 2 constitutes an input optic of the plenoptic camera 1.
  • the main lens 2 has a center O and a main optical axis represented in FIG. 1 by a horizontal line.
  • the main lens 2 is configured to combine an object point P of a scene, and to focus it at an intermediate point P'.
  • the intermediate point P′ is located upstream of the array 4 of microlenses, which corresponds to a so-called Keplerian configuration.
  • the intermediate point P' could be downstream of the matrix 4 or even downstream of the photosensitive sensor 6, which corresponds to a so-called Galilean configuration.
  • the photosensitive sensor 6 has a photosensitive surface opposite the matrix 4 of microlenses. This photosensitive surface is shown in the form of a vertical line in FIG. 1. The photosensitive surface is flat and extends in a plane called the “acquisition plane” below.
  • Photosensitive sensor 6 is configured to generate a two-dimensional image from the light that photosensitive sensor 6 receives on its photosensitive surface. Each pixel of such an image comes from an area of the photosensitive surface of the photosensitive sensor 6 which is associated with it. More precisely, the photosensitive sensor 6 is configured to generate a pixel value according to a light intensity reaching the area of the photosensitive surface associated with it.
  • the array 4 of microlenses is arranged between the main lens 2 and the photosensitive sensor 6. One function of the array 4 of microlenses is to angularly sample a cone of light coming from the intermediate point P', image of the object point P.
  • the array 4 of microlenses comprises a plurality of microlenses comprising respective centers situated in the same plane, this plane being referred to as the “plane of the array 4” below.
  • the microlenses are typically distributed in several rows and several columns of the matrix 4. Thus, each microlens belongs to a row and a column of the matrix 4.
  • FIG. 1 shows a non-limiting example of a matrix 4 having 11 microlenses per column (a only column being visible in this figure).
  • Each microlens is adjacent to at least one other microlens belonging to the same row or the same column of matrix 4.
  • the horizontal distance which separates the center of a microlens and the center of an adjacent microlens of the same row of the matrix 4 is constant. Furthermore, the vertical distance which separates the center of a microlens from the center of an adjacent microlens of the same column of the matrix 4 is constant (which can be seen in particular in FIG. 1).
  • the aforementioned horizontal distance and the vertical distance are equal to the same value d.
  • the centers of the microlenses together form a square grid in the plane of the array 4.
  • the microlenses of the matrix 4 have optical axes which are parallel to each other, and perpendicular to the plane of the matrix 4. Each central optical axis of a microlens passes through the center of this microlens.
  • a property of the matrix 4 of microlenses which is specific to any plenoptic camera 1, is that a microlens of the matrix 4 can only illuminate a specific zone of the photosensitive surface of the photosensitive sensor 6. In other words, a specific zone of the photosensitive surface can only receive light from one of the microlenses.
  • the array 4 of microlenses is configured to combine the intermediate point P' and focus it at several points of the acquisition plane, by requesting certain microlenses of the array 4, but not all of them.
  • FIG. 1 represents an ideal model of plenoptic camera 1, making the following assumptions: the main lens 2 and each microlens constitutes a pinhole; in addition, the matrix 4 of microlenses is perfectly parallel to the photosensitive surface of the photosensitive sensor 6 (in other words, the plane of the matrix 4 and the acquisition plane are parallel).
  • the main lens 2 is such that the points P, O and P' are aligned. Furthermore, the image by the main lens 2 of an object plane normal to the optical axis of the main lens 2 is an intermediate plane parallel to the object plane.
  • FIG. 2 shows a second model of the plenoptic camera 1 which is closer to reality, since this second model takes account of certain optical aberrations.
  • the main lens 2 causes radial distortions. Due to these radial distortions, an object point Pj, the center O of the main lens 2 and an intermediate point Pj' image of the point Pj are no longer aligned. In other words, the point Pj' is angularly deviated.
  • the following notations are used:
  • • aj designates the angle between the line (PjO) and the optical axis of the main lens 2 (angle of incidence of the point Pj on the main lens 2).
  • the main lens 2 causes depth distortions. Due to these depth distortions, the image of an object plane normal to the optical axis of the main lens 2 (represented in the figure by a vertical line passing through the object point Pj) is no longer an intermediate plane parallel to the object plane, but a curved surface (this curved surface being represented by a curved line passing through the point Pj' in FIG. 2).
  • each microlens in array 4 causes radial distortions. Due to these radial distortions, an intermediate point Pj', the center of a microlens and a point pj t image of the point Pj' by the microlens of index i are not aligned.
  • • ⁇ j,i the angle between the optical axis of a microlens of index i and the straight line passing through the center of the microlens of index i and through the intermediate point Pj' (angle of incidence of the point P 'j on the microlens of index i).
  • figure 2 indicates the angles relating to a lens with index i+n.
  • the plane of the microlenses is inclined by a non-zero angle ⁇ MLA with respect to the acquisition plane.
  • this angle ⁇ MLA can be close to zero, and thus be tolerated.
  • taking this angle into account is advantageous for calibrating the plenoptic camera 1, even if its value is close to zero.
  • the depth distortions caused by the microlenses of the matrix 4 are ignored in the model of FIG. 2 because the intermediate plane is projected onto the photosensitive sensor 6.
  • the effect of the depth distortion of the microlenses is not reflected only by a blur on the photosensitive sensor 6.
  • a characterization device 10 for characterizing plenoptic camera 1 comprises a communication interface 12, a memory 14 and at least one processor 16.
  • the communication interface 12 is configured to communicate with external equipment, in particular with the plenoptic camera 12 to allow the transfer of images acquired by the plenoptic camera 12 to the characterization device 1.
  • This communication interface is arbitrary, for example wired or wireless radio (Wi-Fi, Bluetooth, etc.).
  • the memory 14 is configured to store certain data, in particular images acquired by the plenoptic camera 12 and a geometric model of the matrix 4 of microlenses.
  • the geometric model of the matrix 4 of microlenses indicates how the microlenses are positioned relative to each other.
  • the geometric model comprises for example the coordinates of the center of each microlens in the plane of the matrix 4.
  • the geometric model comprises the coordinates of the center of one of the microlenses of the matrix 4, the number of rows and columns of the matrix 4, and the aforementioned horizontal and vertical distances.
  • the memory 14 also stores a computer program comprising code instructions ensuring a function of characterizing optical aberrations caused by the plenoptic camera 1.
  • the or each processor 16 is suitable for executing the computer program, so as to implement a method for characterizing the plenoptic camera 1 .
  • Figure 3 shows an embodiment in which the characterization device 10 is a separate device from the plenoptic camera 1.
  • the characterization device 10 can alternatively be part of the plenoptic camera 1.
  • a method of estimating optical aberrations caused by plenoptic camera 1 comprises the following steps.
  • the processor 16 determines an orientation of the matrix 4 of microlenses with respect to the photosensitive sensor 6.
  • step 100 is implemented as follows.
  • a reference pattern is placed in view of the plenoptic camera 1, and the plenoptic camera 1 acquires an image of the reference pattern, called the reference image.
  • the reference pattern is chosen such that the reference image shows distinct reference patterns respectively originating from different microlenses of the matrix 4.
  • the reference image comprises a plurality of ellipsoidal reference patterns, each ellipsoidal reference pattern resulting from the projection of light by a single microlens onto a zone of the photosensitive surface of the photosensitive sensor 6.
  • the reference pattern can be formed on a backlit or non-backlit support.
  • the reference chart is printed with ink on a support such as a sheet of paper.
  • the support is a display screen, and the reference pattern is displayed by this display screen.
  • the reference image acquired by the plenoptic camera 1 is transmitted to the characterization device 10, which receives it via the communication interface 12, and is stored in the memory 14.
  • the processor 16 obtains the reference image, either by reading the reference image from the memory 14, or because the reference image has been transmitted to it directly by the communication interface 12.
  • the processor 16 analyzes the reference image, so as to locate the reference patterns represented in the reference image. To help with this localization, the processor 16 can optionally apply thresholding to the reference image.
  • processor 16 determines the position of each pattern center. This position is indicated by the coordinates of a pixel of the reference image. Each pattern center position is stored in memory 14.
  • the processor 16 estimates a homography between the plane of the matrix 4 and the acquisition plane of the photosensitive sensor 6. To carry out this estimate, the processor 16 bases itself on the respective positions of the patterns represented on the reference image (in particular the positions of the respective centers of these patterns), and on the geometric model stored in the memory 14 relating to the array 4 of microlenses.
  • a homography is a one-to-one transformation, which can be decomposed into a translation, a rotation, and a linear projection.
  • the processor 16 determines in particular the rotation constituting a component of the previously estimated homography, using a method known to those skilled in the art.
  • the angle ⁇ MLA can be deduced from this rotation.
  • the angle ⁇ MLA is stored in the memory 14.
  • the orientation determination step 100 is then finished.
  • step 100 can be performed in other ways than that proposed in FIG. 5. Moreover, this step 100 is optional.
  • a predefined value for the angle ⁇ MLA can be stored in the memory 14 .
  • the processor 16 can make the assumption that this angle is zero in the remainder of the characterization method.
  • the processor obtains in a step 101 the geometric model of the matrix 4 which was discussed above. This obtaining can be achieved by a read access in the memory 14, when this model is stored in this memory 14.
  • first calibration pattern a new pattern, called “first calibration pattern” in the following to distinguish it from the reference pattern, is placed in view of the plenoptic camera 1 .
  • the first calibration pattern has at least one pattern, called “first calibration pattern”, this pattern comprising at least one visually discernible characteristic point.
  • the first calibration chart can be displayed by a display screen, which is for example the display screen having been previously used to display the reference chart.
  • the first calibration chart is uniform in color except for a spot pattern occupying only a specific region of the chart.
  • the display screen can display a single pixel or a block of adjacent pixels in one color forming the dot pattern, and display all the other pixels in another color.
  • this unique spot calibration pattern stands out from all the rest of the first calibration pattern. The center position of this pattern and the corners of this pattern are visually discernible.
  • the first calibration pattern comprises a plurality of point patterns of the above type, arranged for example in the form of a grid. The respective positions of these patterns are visually distinguishable.
  • the first calibration pattern includes a checkerboard.
  • the corners of the squares of the checkerboard constitute visually discernible characteristic points.
  • the plenoptic camera 1 acquires an image of the calibration target, this image being called “first calibration image” to distinguish it from the reference image discussed above.
  • the first calibration image is transmitted to the characterization device 10, which receives it via the communication interface 12, and is stored in the memory 14.
  • the processor 16 obtains the first calibration image, either by reading the reference image from the memory 14, or because the first calibration image was transmitted to it directly by the communication interface 12.
  • a step 104 the processor 16 identifies, for at least one characteristic point, a set of adjacent microlenses of the matrix 4 which project this same characteristic point of the first calibration pattern into different pixels of the first calibration image. This identification is carried out by the processor 16 from the first calibration image, from the geometric model, and optionally from the angle ⁇ MLA determined in step 100. As has been explained in relation to FIGS. 1 and 2, the set of identified adjacent microlenses constitutes only part of the set consisting of all the microlenses of the matrix 4. The left part of FIG.
  • a step 106 the processor 16 determines the position of at least one characteristic point in the first calibration pattern projected by a set of microlenses identified in step 106.
  • step 106 There are several ways to perform step 106.
  • the first calibration target can be placed in a relative reference position with respect to the plenoptic camera 1 .
  • the position in space of each characteristic point of the first calibration chart can be deduced from the reference position of the first calibration chart.
  • the first calibration target can be placed in such a reference position by a motorized positioning device, typically comprising motorized stages.
  • the relative reference position is known in advance, and stored in memory 14.
  • the position of each characteristic point of the first calibration target is transmitted to the characterization device by another piece of equipment.
  • This equipment can in particular be the motorized positioning system.
  • this equipment is a display screen which displays the first calibration pattern; in this case, the display screen can display a visual pattern which encodes the position of a characteristic point of the first calibration pattern.
  • This visual pattern may or may not be part of the first reference pattern.
  • the encoding result can be binary code, sinusoidal fringe, etc.
  • step 106 Other methods known from the state of the art can be implemented for step 106, which depend on the first calibration pattern used.
  • Step 3 shows steps 104 and 106 implemented sequentially, it is understood that steps 104 and 106 may be performed in any order or in parallel. Steps 104 and 106 allow the processor 16 to carry out a pairing between the position of a characteristic point of the calibration test pattern and a set of pixels of the first calibration image into which this point is projected by the plenoptic camera 1.
  • Steps 104 and 106 are preferably repeated so that such a pairing is carried out for several characteristic points, if necessary several characteristic points of the first calibration pattern.
  • steps 104 and 106 are preferably repeated after moving the first calibration target relative to the plenoptic camera 1, if necessary by means of the motorized positioning system discussed above. Due to this displacement, the position of a characteristic point of the first calibration target changes, and can then be matched with a different set of microlenses after the displacement of the target.
  • steps 102, 104 and 106 can be repeated after replacing the first calibration chart with a second calibration chart of different content.
  • the second calibration pattern has at least one visually discernible feature point having a different position than any discernable feature point in the first calibration image. In other words, at least the characteristic of the second calibration chart is not referenced in the first calibration chart.
  • the second calibration chart may also be uniform in color except for a second spot pattern having a second position different from the first position.
  • the second calibration pattern can be displayed by the same display screen as the first calibration pattern, replacing the latter, with or without moving the display screen.
  • the plenoptic camera 1 acquires an image of the second calibration pattern, this image being called “second calibration image” to distinguish it from the first calibration image discussed previously.
  • This image is obtained by the processor 16 during a new implementation of step 102, then used during a new implementation of steps 104 and 106, so that new pairings are obtained (pairing between at least one characteristic point of the second calibration pattern and of the pixels of the second calibration image at which this characteristic point was projected by the plenoptic camera 1).
  • steps 104 and 106 are repeated so as to ensure that each microlens of matrix 4 is paired at least once with a characteristic point of a calibration target, whose position is determined.
  • a step 108 the processor 16 calculates, for each of the adjacent microlenses of a set identified in step 104, a difference between a pixel of the image at which the characteristic point is projected by the microlens and a pixel of the image from a point on the photosensitive surface passing through a central optical axis of the microlens.
  • Such deviations are in particular represented on the left of FIG. 6 discussed previously.
  • a microlens of index i projecting an intermediate point Pj onto the photosensitive surface via a straight line extending in a direction indicated by the angle ⁇ j.
  • This straight line, the optical axis of the microlens of index i and the photosensitive surface define the three sides of a rectangle.
  • the difference calculated for this microlens of index i is the side of this triangle defined by the photosensitive surface.
  • Step 108 of calculations of deviations is repeated for each set of adjacent microlenses having been paired with a characteristic point position at the end of steps 104 and 106.
  • the deviations calculated in step 108 constitute data which makes it possible to trace the radial distortions caused by the adjacent microlenses.
  • a duality between a set of points imaged by a camera and a point imaged by a set of cameras This duality is illustrated by figure 3, and can be postulated as follows for a matrix of microlenses: “A camera which observes a regular matrix of points is dual to a point observed by a regular matrix of cameras”.
  • the problem of determining radial distortions caused by a microlens (right part of FIG. 3) can be transposed into a dual problem (left part of FIG. 3) involving the calculation of the aforementioned deviations.
  • a step 110 the processor 16 estimates a radial distortion caused by the matrix 4 of microlenses, from each calculated deviation, and by crossing these deviations with other relevant information obtained previously: the geometric model of the matrix 4 of microlenses, the position of each characteristic point, and, where appropriate, of the orientation determined in step 100. Step 110 thus cleverly exploits the principle of duality explained above.
  • the processor assumes at step 110 that all of the microlenses are identical.
  • the radial distortion is for example estimated according to the Brown model.
  • p inter is an intermediate image point of an object point by the input optics of the plenoptic camera. The position of this point is unknown.
  • • x d represents the point image P inter by the i th microlens in the presence of radial distortion of the microlenses. This point is determined at step 106.
  • the distance between the microlenses is known, as well as the position of the plane of the matrix of the microlenses (this was determined during the preceding steps of the method).
  • the parameters of the radial distortion can be determined by determining the minimum of the following cost function:
  • M is a projection matrix of the microlensing matrix
  • R mia represents the rotation of the plane of the matrix of microlenses previously determined (see steps represented in figure 5)
  • the optimization of the cost function presented can be carried out using an iterative search algorithm (for example the Levenberg-Marquardt algorithm).
  • step 100 Furthermore, taking into account the orientation determined in step 100 improves the precision of the radial distortion estimate.
  • the estimated radial distortion is stored in memory 14.
  • the steps described above have the particular advantage of producing an estimate of the radial distortions caused by the array 4 of microlenses, without it having been necessary to place a target between the principle lens 2 and the array of microlenses 4.
  • the processor 16 estimates the parameters of the main lens 2 of the camera (radial distortion and depth distortion), taking into account the estimated radial distortion, relating to the matrix 4 of microlens located downstream of the main lens 2.
  • the radial distortion estimated at step 112 may be according to Brown's model. Furthermore, the depth distortion can be estimated using the polynomials of Seidel or Zernike, known to those skilled in the art.
  • step 112 it is possible to carry out the intermediate reconstruction of the surface of a calibration pattern. This can be done by first correcting the radial distortion of the microlenses using the model estimated in step 110, then estimating the intersection of the rays from the paired pixels passing through the centers of the microlenses. After reconstruction of the various intermediate surfaces of the calibration pattern, the objective is to determine a 3D-3D transformation between the points of the calibration pattern with perfectly known geometry and the points of the intermediate reconstruction. This can be done using the model proposed in the document “On the calibration of focused plenoptic cameras”, by Johannsen, Ole, et al., Time-of-Flight and Depth Imaging. Sensors, Algorithms, and Applications. Springer, Berlin, Heidelberg, 2013, pages 302-317. This step makes it possible to determine the transition model of the reconstruction of a surface in the intermediate plane of the camera towards the real surface imaged by the plenoptic camera 1 .
  • the characterization device 10 has data indicative of distortions caused not only by the main lens 2 (radial and/or depth distortions) but also by the array 4 of microlenses (radial distortions).
  • the calibration of the plenoptic camera comprises a step of generating a parametric model for calibrating the plenoptic camera 1 , from the distortions estimated.
  • the parametric calibration model is suitable for reconstructing a three-dimensional image of a scene from at least one image acquired by the plenoptic camera, taking into account the estimated distortions.
  • the intermediate reconstruction of the surface of a calibration pattern can be done by first correcting the radial distortion of the microlenses using the model estimated in step 110, then estimating the intersection of the rays from the paired pixels passing through the centers of the microlenses.
  • the objective is to determine a 3D-3D transformation between the points of the calibration pattern with perfectly known geometry and the points of the intermediate reconstruction. This can be done using the model proposed in the document “On the calibration of focused plenoptic cameras”, by Johannsen, Ole, et al., Time-of-Flight and Depth Imaging. Sensors, Algorithms, and Applications. Springer, Berlin, Heidelberg, 2013, pages 302-317.
  • This step makes it possible to determine the transition model of the reconstruction of a surface in the intermediate plane of the camera towards the real surface imaged by the plenoptic camera 1 .
  • the calibration model can ultimately be used to apply a correction processing to an image acquired by the plenoptic camera 1 subsequently, aimed at compensating for the distortions caused, according to a method known to those skilled in the art.
  • This correction processing can in part be implemented by a processing unit integrated into the plenoptic camera 1 or else by a device external to the plenoptic camera such as the device 10.
  • Plenoptic camera 1 can be used for many applications. One of them is the dimensioning of parts, for example parts of turbomachines such as a blade.

Abstract

Procédé de caractérisation de distorsions dans une caméra plénoptique comprenant une matrice de microlentilles et une surface photosensible, le procédé comprenant les étapes suivantes : obtention (101 ) d'un modèle géométrique de la matrice de microlentilles indiquant comment les microlentilles sont positionnées les unes par rapport aux autres; obtention (102) d'une image d'une mire acquise par la caméra plénoptique et présentant un point caractéristique, identification (104) d'un ensemble de microlentilles adjacentes de la matrice qui projettent le point caractéristique en différents pixels de l'image, pour chacune des microlentilles adjacentes, calcul (108) d'un écart entre un pixel de l'image en lequel le point caractéristique est projeté par la microlentille et un pixel de l'image issu d'un point de la surface photosensible passant par un axe optique de la microlentille; estimation (110) d'une distorsion radiale causée par la matrice de microlentilles.

Description

Procédé et dispositif de caractérisation de distorsions dans une caméra plénoptique
DESCRIPTION
DOMAINE DE L'INVENTION
La présente invention concerne un procédé et dispositif de caractérisation de distorsions dans une caméra plénoptique.
ETAT DE LA TECHNIQUE
Une caméra plénoptique est un dispositif connu qui se distingue d'autres caméras par le fait qu'elle comprend une matrice de microlentilles. Une telle matrice de microlentilles permet de capter une information de profondeur de champ lumineux, composée de l'intensité lumineuse d'une scène, mais aussi la direction d'arrivée des rayons lumineux. Cette propriété est par exemple exploitée pour produire une image tridimensionnelle d'une scène, comme le ferait également une caméra stéréoscopique, mais avec un encombrement moindre.
Outre une matrice de microlentilles, une caméra plénoptique comprend une lentille principale située en amont de la matrice, et un capteur photosensible en aval de la matrice.
Il est connu de l'état de la technique un procédé de caractérisation d'une telle caméra plénoptique, comprenant l'estimation d'une distorsion radiale causée par la lentille principale. La distorsion radiale est une aberration optique qui a pour effet de dévier de manière indésirable la propagation de rayons lumineux traversant la lentille principale, et donc de créer des artefacts visuels dans une image acquise par la caméra plénoptique. En caractérisant cette distorsion radiale, celle-ci peut être compensée par un post-traitement adéquat.
Il est également des procédés de calibrage d'une caméra plénoptique, comprenant la génération de de données de calibrage permettant de reconstruire une image 3D d'une scène à partir d'une ou plusieurs images acquise(s) par une caméra plénoptique. Ces données de calibrage tiennent compte d'aberrations optiques causées par la caméra, de sorte à minimiser voire éliminer des artefacts susceptibles d'entacher l'image 3D à reconstruire. De tels procédés sont par exemple décrits dans les documents suivants :
• Bergamasco, Filippo, et al. "Adopting an unconstrained ray model in light-field cameras for 3d shape reconstruction." Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2015.
• Meng, Lingfei, et al. "Object space calibration of plenoptic imaging systems." U.S. Patent No. 9,918,077. 13 Mar. 2018. Au cours de La mise en œuvre de ces procédés, la caméra plénoptique est vue comme une boîte noire, et les données de calibrage générées au moyen de ces procédés forment des tables de correspondance.
Or, de telles tables de correspondances ne sont pas interprétables facilement, au sens où elles ne permettent pas d'établir un diagnostic sur l'état de la caméra plénoptique. Certains composants peuvent présenter des défauts de fabrication causant l'apparition de distorsions importante ne pouvant pas être corrigées convenablement par de telles données de calibrage.
Par ailleurs, la génération des tables de correspondances nécessite des calculs coûteux.
EXPOSE DE L'INVENTION
Un but de l'invention est d'établir un diagnostic sur le niveau d'aberrations optiques causées par une caméra sans nécessiter des calculs aussi coûteux que ceux utilisés dans les procédés décrits précédemment.
Il est à cet effet proposé, selon un premier aspect, un procédé de caractérisation de distorsions dans une caméra plénoptique comprenant une matrice de microlentilles et une surface photosensible, le procédé comprenant les étapes suivantes : obtention d'un modèle géométrique de la matrice de microlentilles indiquant comment les microlentilles sont positionnées les unes par rapport aux autres ; obtention d'une image d'une mire, l'image ayant été acquise par la caméra plénoptique, la mire présentant un point caractéristique ; à partir de l'image et à partir du modèle géométrique, identification d'un ensemble de microlentilles adjacentes de la matrice qui projettent le point caractéristique en différents pixels de l'image ; pour chacune des microlentilles adjacentes de l'ensemble, calcul d'un écart entre un pixel de l'image en lequel le point caractéristique est projeté par la microlentille et un pixel de l'image issu d'un point de la surface photosensible passant par un axe optique central de la microlentille ; et estimation d'une distorsion radiale causée par la matrice de microlentilles, à partir de chaque écart calculé, du modèle géométrique de la matrice de microlentilles, et d'une position du point caractéristique.
Le procédé selon le premier aspect peut également comprendre les caractérsitiques optionnelles suivantes, prises seules ou combinées entre elles lorsque cela est techniquement possible.
De préférence, la mire est de couleur uniforme à l'exception d'un motif montré par la mire, Le point caractéristique étant défini par le motif. De préférence, le procédé selon le premier aspect comprend une répétition des étapes d'identification et de calcul d'écarts pour plusieurs points caractéristiques présentés par la mire et ayant des positions différentes, la distorsion radiale étant estimée après la répétition.
De préférence, le procédé selon le premier aspect comprend une répétition des étapes d'obtention d'image acquise par la caméra plénoptique, d'identification et de calcul d'écarts après un déplacement de la mire par rapport à la caméra plénoptique, la distorsion radiale étant estimée après la répétition.
De préférence, le procédé selon le premier aspect comprend une répétition des étapes d'obtention d'image acquise par la caméra plénoptique, d'identification et de calcul d'écarts après remplacement de la mire par une deuxième mire présentant un deuxième point caractéristique non présenté par la mire, la distorsion radiale étant estimée après la répétition.
De préférence, la mire et la deuxième mire sont successivement affichées par un même écran d'affichage.
De préférence, le procédé selon le premier aspect comprend une répétition des étapes d'identification et de calculs d'écarts de sorte qu'au moins écart soit calculé pour chaque microlentille de la matrice.
De préférence, le procédé selon le premier aspect comprend une étape de détermination d'une orientation de la matrice de microlentilles par rapport à la surface photosensible, la distorsion radiale étant estimée également à partir de l'orientation déterminée.
De préférence, la détermination de l'orientation de la matrice de microlentilles par rapport à la surface photosensible comprend les étapes suivantes : obtention d'une image de référence acquise par la caméra plénoptique, l'image de référence montrant des motifs distincts les uns des autres et respectivement issus de différentes microlentilles de la matrice ; et estimation d'une homographie entre un plan de la matrice de microlentilles et un plan de la surface photosensible, à partir de positions respectives des motifs dans l'image de référence et à partir du modèle géométrique de la matrice de microlentilles.
De préférence, le procédé selon le premier aspect comprend une estimation d'une distorsion radiale et/ou d'une distorsion de profondeur causée par une lentille de la caméra plénoptique agencée en amont de la matrice de microlentilles, à partir de la distorsion radiale causée par la matrice de microlentilles ayant été estimée. Il est également proposé, selon un deuxième aspect, un procédé de calibrage d'une caméra plénoptique comprenant les étapes suivantes : caractérisation de distorsions dans la caméra plénoptique au moyen du procédé selon le premier aspect ; et génération d'un modèle de calibrage adapté pour reconstruire une image tridimensionnelle d'une scène à partir d'au moins une image acquise par la caméra plénoptique en tenant compte de la distorsion estimée.
Il est encore proposé, selon un quatrième aspect, un dispositif de calibrage d'une caméra plénoptique comprenant une matrice de microlentilles et une surface photosensible. Ce dispositif comprend une mémoire configurée pour stocker un modèle géométrique de la matrice de microlentilles indiquant comment les microlentilles sont positionnées les unes par rapport aux autres, et une image d'une mire, l'image ayant été acquise par la caméra plénoptique, la mire présentant un point caractéristique. Ce dispositif comprend par ailleurs au moins un processeur configuré pour mettre en œuvre les étapes suivantes : à partir de l'image de la mire et à partir du modèle géométrique, identifier des microlentilles adjacentes de la matrice qui projettent le point caractéristique en différentes pixels de l'image ; pour chacune des microlentilles adjacentes identifiées, calculer un écart entre un pixel de l'image en lequel le point caractéristique est projeté par la microlentille et un pixel de l'image issu d'un point de la surface photosensible passant par un axe optique de la microlentille ; et estimer une distorsion radiale causée par la matrice de microlentilles, à partir des écarts calculés, du modèle géométrique et d'une position du point caractéristique.
Il est aussi proposé, selon un cinquième aspect, un kit comprenant une caméra plénoptique comprenant une matrice de microlentilles et un capteur présentant une surface photosensible, et un dispositif de calibrage de la caméra plénoptique selon le troisième aspect.
DESCRIPTION DES FIGURES
D'autres caractéristiques, buts et avantages de l'invention ressortiront de la description qui suit, qui est purement illustrative et non limitative, et qui doit être lue en regard des dessins annexés sur lesquels :
La figure 1 illustre de façon schématique différents composants optiques d'une caméra plénoptique 1 , selon un premier modèle.
La figure 2 illustre de façon schématique différents composants optiques d'une caméra plénoptique 1 , selon un deuxième modèle. La figure 3 illustre de façon schématique un système comprenant une caméra plénoptique 1 et un dispositif de caractérisation de la caméra plénoptique 1 , selon un mode de réalisation.
La figure 4 est un organigramme d'étapes d'un procédé de calibrage d'une caméra plénoptique 1 , selon un mode de réalisation.
La figure 5 détailles les sous-étapes d'une étape du procédé de la figure 4, selon un mode de réalisation.
La figure 6 et la figure 7 représentent chacune la projection d'un même point sur une surface par plusieurs microlentilles (à gauche de la figure), et une projection équivalente de plusieurs points sur une surface par une seule microlentille (à droite de la figure).
Sur l'ensemble des figures, les éléments similaires portent des références identiques.
DESCRIPTION DETAILLEE DE L'INVENTION
En référence à la figure 1 , une caméra plénoptique 1 comprend une lentille 2, une matrice 4 de microlentilles et un capteur photosensible 6.
La lentille 2, dite « lentille principale », constitue une optique d'entrée de la caméra plénoptique 1. La lentille principale 2 présente un centre O et un axe optique principal représenté sur la figure 1 par une ligne horizontale.
La lentille principale 2 est configurée pour conjuguer un point objet P d'une scène, et le focaliser en un point intermédiaire P'. Sur la figure 1 , le point intermédiaire P' est situé en amont de la matrice 4 de microlentilles, ce qui correspond à une configuration dite Keplerienne. En variante, le point intermédiaire P' pourrait être en aval de la matrice 4 voire même en aval du capteur photosensible 6, ce qui correspond à une configuration dite Galiléenne.
Le capteur photosensible 6 présente une surface photosensible en regard de la matrice 4 de microlentilles. Cette surface photosensible est représentée sous la forme d'une ligne verticale sur la figure 1. La surface photosensible est plane et s'étend dans un plan appelé « plan d'acquisition » dans la suite.
Le capteur photosensible 6 est configuré pour générer une image en deux dimensions à partir de la lumière que le capteur photosensible 6 reçoit sur sa surface photosensible. Chaque pixel d'une telle image est issu d'une zone de la surface photosensible du capteur photosensible 6 qui lui est associée. Plus précisément, le capteur photosensible 6 est configuré pour générer une valeur de pixel en fonction d'une intensité lumineuse atteignant la zone de la surface photosensible qui lui est associée. La matrice 4 de microlentilles est agencée entre la lentille principale 2 et le capteur photosensible 6. Une fonction de la matrice 4 de microlentilles est d'échantillonner angulairement un cône de lumière issu du point intermédiaire P', image du point objet P.
La matrice 4 de microlentilles comprend une pluralité de microlentilles comprenant des centres respectifs situés dans un même plan, ce plan étant appelé « plan de la matrice 4 » dans la suite.
Les microlentilles sont typiquement réparties en plusieurs lignes et plusieurs colonnes de la matrice 4. Ainsi, chaque microlentille appartient à une ligne et une colonne de la matrice 4. La figure 1 montre un exemple non limitatif de matrice 4 ayant 11 microlentilles par colonne (une seule colonne étant visible sur cette figure).
Chaque microlentille est adjacente à au moins une autre microlentille appartenant à la même ligne ou la même colonne de la matrice 4.
La distance horizontale qui sépare le centre d'une microlentille et le centre d'une microlentille adjacente de la même ligne de la matrice 4 est constante. En outre, la distance verticale qui sépare le centre d'une microlentille du centre d'une microlentille adjacente de la même colonne de la matrice 4 est constante (ce que l'on voit en particulier sur la figure 1 ).
Dans un mode de réalisation de la matrice 4, la distance horizontale et la distance verticale précitées sont égales à une même valeur d. dans ce mode de réalisation, les centres des microlentilles forment ensemble une grille carrée dans le plan de la matrice 4.
Les microlentilles de la matrice 4 présentent des axes optiques qui sont parallèles entre eux, et perpendiculaires au plan de la matrice 4. Chaque axe optique central d'une microlentille passe par le centre de cette microlentille.
Une propriété de la matrice 4 de microlentilles, qui propre à toute caméra plénoptique 1 , est qu'une microlentille de la matrice 4 ne peut illuminer qu'une zone spécifique de la surface photosensible du capteur photosensible 6. Dit autrement, une zone spécifique de la surface photosensible ne peut recevoir de la lumière que d'une des microlentilles.
Par ailleurs, la matrice 4 de microlentilles est configurée pour conjuguer le point intermédiaire P' et le focaliser en plusieurs points du plan d'acquisition, en sollicitant certaines microlentilles de la matrice 4, mais pas toutes. Dans l'exemple de la figure 1, seule cinq des microlentilles représentées sur cette figure sont sollicitées pour imager le point intermédiaire Pj' sur le plan d'acquisition. La figure 1 représente un modèle idéal de caméra plénoptique 1 , faisant les hypothèses suivantes : la lentille principale 2 et chaque microlentille constitue un sténopé (« pinhole » en anglais) ; en outre, la matrice 4 de microlentilles est parfaitement parallèle à la surface photosensible du capteur photosensible 6 (autrement dit, le plan de la matrice 4 et le plan d'acquisition sont parallèles).
Dans ce modèle idéal, la lentille principale 2 est telle que les points P, O et P' sont alignés. En outre, l'image par la lentille principale 2 d'un plan objet normal à l'axe optique de la lentille principale 2 est un plan intermédiaire parallèle au plan objet.
La figure 2 montre un deuxième modèle de la caméra plénoptique 1 qui est plus proche de la réalité, car ce deuxième modèle tient compte de certaines aberrations optiques.
Premièrement, la lentille principale 2 cause des distorsions radiales. En raison de ces distorsions radiales, un point objet Pj, le centre O de la lentille principale 2 et un point intermédiaire Pj' image du point Pj ne sont plus alignés. Autrement dit, le point Pj' est angulairement dévié. Sur la figure 2 les notations suivantes sont utilisées :
• aj désigne l'angle entre la droite (PjO) et l'axe optique de la lentille principale 2 (angle d'incidence du point Pj sur la lentille principale 2).
• désigne l'angle entre la droite (Pj 'O) et l'axe optique de la lentille principale 2.
Ces deux angles aj et sont différents en présence de distorsions radiales. Il est
Figure imgf000009_0001
également à noter que l'écart entre ces deux anglais varie en fonction de la position du point Pj. Plus le point Pj est éloigné de l'axe optique de la lentille 2, plus cet écart est important.
Deuxièmement, la lentille principale 2 cause des distorsions de profondeur. En raison de ces distorsions de profondeur, l'image d'un plan objet normal à l'axe optique de la lentille principale 2 (représenté sur la figure par une ligne verticale passant par le point objet Pj) n'est plus un plan intermédiaire parallèle au plan objet, mais une surface courbe (cette surface courbe étant représentée par une ligne courbe passant par le point Pj' sur la figure 2).
Troisièmement, chaque microlentille de la matrice 4 cause des distorsions radiales. En raison de ces distorsions radiales, un point intermédiare Pj', le centre d'une microlentille et un point pj t image du point Pj' par la microlentille d'indice i ne sont pas alignés. On note ainsi : • βj,i l'angle entre l'axe optique d'une microlentille d'indice i et la droite passant par le centre de la microlentille d'indice i et par le point intermédiaire Pj' (angle d'incidence du point P'j sur la microlentille d'indice i).
• l'angle entre l'axe optique de la microlentille d'indice i et la droite passant par
Figure imgf000010_0001
le centre de la microlentille d'indice i et par le point pj,i.
Pour plus de lisibilité, la figure 2 indique les angles se rapportant à une lentille
Figure imgf000010_0002
d'indice i+n.
Quatrièmement, le plan des microlentilles est incliné d'un angle θMLA non nul par rapport au plan d'acquisition. En pratique, cet angle θMLA peut être proche de zéro, et ainsi être toléré. Toutefois, la prise en compte de cet angle est avantageuse pour calibrer la caméra plénoptique 1 , même si sa valeur est proche de zéro.
En revanche, les distorsions de profondeur causées par les microlentilles de la matrice 4 sont ignorées dans le modèle de la figure 2 car le plan intermédiaire est projeté sur le capteur photosensible 6. Ainsi l'effet de la distorsion de profondeur des microlentilles ne se traduit que par un flou sur le capteur photosensible 6.
En référence à la figure 3, un dispositif de caractérisation 10 pour caractériser la caméra plénoptique 1 comprend une interface de communication 12, une mémoire 14 et au moins un processeur 16.
L'interface de communication 12 est configuré pour communiquer avec des équipements externes, en particulier avec la caméra plénoptique 1 2 pour permettre le transfert d'images acquises par la caméra plénoptique 1 2 vers le dispositif de caractérisation 1 . Cette interface de communication est quelconque, par exemple filaire ou radio sans fil (Wi-Fi, Bluetooth, etc.).
La mémoire 14 est configurée pour stocker certaines données, en particulier des images acquises par la caméra plénoptique 1 2 et un modèle géométrique de la matrice 4 de microlentilles.
Le modèle géométrique de la matrice 4 de microlentilles indique comment les microlentilles sont positionnées les unes par rapport aux autres.
Le modèle géométrique comprend par exemple les coordonnées du centre de chaque microlentille dans le plan de la matrice 4. En variante, le modèle géométrique comprend les coordonnées du centre d'une des microlentilles de la matrice 4, le nombre de lignes et de colonnes de la matrice 4, et les distances horizontales et verticale précitées. La mémoire 14 stocke par ailleurs un programme d'ordinateur comprenant des instructions de code assurant une fonction de caractérisation d'aberrations optiques causées par la caméra plénoptique 1. Le ou chaque processeur 16 est adapté pour exécuter le programme d'ordinateur, de sorte à mettre en œuvre un procédé de caractérisation de la caméra plénoptique 1 .
La figure 3 montre un mode de réalisation dans lequel le dispositif de caractérisation 10 est un dispositif distinct de la caméra plénoptique 1. Toutefois, le dispositif de caractérisation 10 peut alternativement partie de la caméra plénoptique 1.
En référence à la figure 4, un procédé d'estimation d'aberrations optiques causées par la caméra plénoptique 1 comprend les étapes suivantes.
Dans une étape 101 optionnelle, le processeur 16 détermine une orientation de la matrice 4 de microlentilles par rapport au capteur photosensible 6.
Dans un mode de réalisation détaillé sur la figure 5, l'étape 100 est mise en œuvre comme suit.
Une mire de référence est placée en vue de la caméra plénoptique 1 , et la caméra plénoptique 1 acquiert une image de la mire de référence, dite image de référence.
La mire de référence est choisie de telle sorte que l'image de référence montre des motifs de référence distincts respectivement issus de différentes microlentilles de la matrice 4.
Une image de référence ayant une telle propriété peut par exemple être obtenue facilement lorsque la mire de référence est de couleur uniforme. Dans ce cas, l'image de de référence comprend une pluralité de motifs de référence ellipsoïdes, chaque motif de référence ellipsoïde résultant de la projection de lumière par une seule microlentille sur une zone de la surface photosensible du capteur photosensible 6.
La mire de référence peut être formée sur un support rétroéclairé ou non. Par exemple, la mire de référence est imprimée avec de l'encre sur un support tel qu'une feuille de papier. En variante, le support est un écran d'affichage, et la mire de référence est affichée par cet écran d'affichage.
L'image de référence acquise par la caméra plénoptique 1 est transmise au dispositif de caractérisation 10, qui la reçoit via l'interface de communication 12, et est stockée dans la mémoire 14. Dans une étape 200, le processeur 16 obtient l'image de référence, soit par lecture de l'image de référence dans la mémoire 14, soit parce que l'image de référence lui a été directement transmise par l'interface de communication 12.
Dans une étape 202, le processeur 16 analyse l'image de référence, de sorte à localiser les motifs de référence représentés dans l'image de référence. Pour aider à cette localisation, le processeur 16 peut éventuellement appliquer un seuillage à l'image de référence.
Au cours de l'étape de localisation 202, le processeur 16 détermine la position de chaque centre de motif. Cette position est indiquée par les coordonnées d'un pixel de l'image de référence. Chaque position de centre de motif est mémorisée dans la mémoire 14.
Dans une étape 204, le processeur 16 estime ensuite une homographie entre le plan de la matrice 4 et le plan d'acquisition du capteur photosensible 6. Pour réaliser cette estimation, le processeur 16 se fonde sur les positions respectives des motifs représentés sur l'image de référence (en particulier les positions des centres respectifs de ces motifs), et sur le modèle géométrique stocké dans la mémoire 14 se rapportant à la matrice 4 de microlentilles.
Une homographie est une transformation bijective, pouvant être décomposée en une translation, une rotation, et une projection linéaire. Le processeur 16 détermine en particulier la rotation constituant une composante de l'homographie préalablement estimée, à l'aide d'une méthode connue de l'homme du métier. L'angle 6MLA peut être déduit de cette rotation.
L'angle θMLA est mémorisé dans la mémoire 14. L'étape de détermination d'orientation 100 est alors terminée.
Il est à relever que l'étape 100 peut être réalisée d'autres manières que celle proposée en figure 5. Par ailleurs, cette étape 100 est facultative. Il peut être mémorisé dans la mémoire 14 une valeur prédéfinie pour l'angle θMLA. En particulier le processeur 16 peut faire l'hypothèse que cet angle est nul dans la suite du procédé de caractérisation.
De retour à la figure 3, le processeur obtient dans une étape 101 le modèle géométrique de la matrice 4 qui a été discuté plus haut. Cette obtention peut être réalisé par un accès en lecture dans la mémoire 14, lorsque ce modèle est stocké dans cette mémoire 14.
Par ailleurs, une nouvelle mire, appelée « première mire de calibrage » dans la suite pour la distinguer de la mire de référence, est placée en vue de la caméra plénoptique 1 . La première mire de calibrage présente au moins un motif, dit « premier motif de calibrage », ce motif comprenant au moins un point caractéristique discernable visuellement.
La première mire de calibrage peut être affichée par un écran d'affichage, qui est par exemple l'écran d'affichage ayant été préalablement utilisé pour afficher la mire de référence.
Dans un mode de réalisation, la première mire de calibrage est de couleur uniforme à l'exception d'un motif ponctuel n'occupant qu'une région spécifique de la mire. Dans ce cas, l'écran d'affichage peut afficher un unique pixel ou un bloc de pixels adjacents dans une couleur formant le motif ponctuel, et afficher tous les autres pixels dans une autre couleur. Ainsi, cet unique motif de calibrage ponctuel se distingue de tout le reste de de la première mire de calibrage. La position centrale de ce motif et les coins de ce motif sont discernables visuellement.
Dans un autre mode de réalisation, la première mire de calibrage comprend une pluralité de motifs ponctuels du type qui précède, disposés par exemple sous forme de grille. Les positions respectives de ces motifs sont distinguables visuellement.
Dans encore un autre mode de réalisation, la première mire de calibrage comprend un damier. Les coins des cases du damier constituent des points caractéristiques discernables visuellement.
La caméra plénoptique 1 acquiert une image de la mire de calibrage, cette image étant appelée « première image de calibrage » pour la distinguer de l'image de référence discutée précédemment.
La première image de calibrage est transmise au dispositif de caractérisation 10, qui la reçoit via l'interface de communication 12, et est stockée dans la mémoire 14.
Dans une étape 102, le processeur 16 obtient la première image de calibrage, soit par lecture de l'image de référence dans la mémoire 14, soit parce que la première image de calibrage lui a été directement transmise par l'interface de communication 12.
Dans une étape 104, le processeur 16 identifie, pour au moins un point caractéristique, un ensemble de microlentilles adjacentes de la matrice 4 qui projettent ce même point caractéristique de la première mire de calibrage en différents pixels de la première image de calibrage. Cette identification est réalisée par le processeur 16 à partir de la première image de calibrage, à partir du modèle géométrique, et optionnellement à partir de l'angle θMLA déterminé à l'étape 100. Comme cela a été expliqué en relation avec les figures 1 et 2, l'ensemble de microlentilles adjacentes identifié ne constitue qu'une partie de l'ensemble constitué de toutes les microlentilles de la matrice 4. La partie gauche de la figure 6 représente à titre d'exemple cinq microlentilles adjacentes de la matrice 4 projetant un même point intermédiaire (lui- même image d'un point caractéristique de la première mire de calibrage) en cinq zones différentes de la surface photosensible du capteur photosensible 6, correspondant par conséquent à cinq pixels différents de la première image de calibrage acquise par la caméra plénoptique 1 .
Dans une étape 106, le processeur 16 détermine la position d'au moins un point caractéristique dans la première mire de calibrage projeté par un ensemble de microlentilles identifié à l'étape 106.
Il existe plusieurs manières de réaliser l'étape 106.
La première mire de calibrage peut être placée dans une position relative de référence par rapport à la caméra plénoptique 1 . La position dans l'espace de chaque point caractéristique de la première mire de calibrage peut être déduite de la position de référence de la première mire de calibrage. La première mire de calibrage peut être placée dans une telle position de référence par un dispositif de positionnement motorisé, comprenant typiquement des platines motorisées.
Dans un mode de réalisation, la position relative de référence est connue à l'avance, et mémorisée dans la mémoire 14.
Dans une autre mode de réalisation, la position de chaque point caractéristique de la première mire de calibrage est transmise au dispositif de caractérisation par un autre équipement. Cet équipement peut en particulier être le système de positionnement motorisé. En variante, cet équipement est un écran d'affichage qui affiche la première mire de calibrage ; dans ce cas, l'écran d'affichage peut afficher un motif visuel qui encode la position d'un point caractéristique de la première mire de calibrage. Ce motif visuel peut faire partie de la première mire de référence, ou non. Le résultat de l'encodage peut être un code binaire, une frange sinusoïdale, etc.
D'autres méthodes connues de l'état de la technique peuvent être mise en œuvre pour l'étape 106, qui dépendent de la première mire de calibrage utilisée.
Bien que la figure 3 représente les étapes 104 et 106 mises en œuvre séquentiellement, il est entendu que les étapes 104 et 106 peuvent être réalisées dans un ordre quelconque ou en parallèle. Les étapes 104 et 106 permettent au processeur 16 de réalisation un appariement entre la position d'un point caractéristique de la mire de calibrage et un ensemble de pixels de la première image de calibrage en lesquels ce point est projeté par la caméra plénoptique 1.
Les étapes 104 et 106 sont de préférence répétées de sorte qu'un tel appariement soit réalisé pour plusieurs points caractéristiques, le cas échéant plusieurs points caractéristiques de la première mire de calibrage.
Par ailleurs, les étapes 104 et 106 sont de préférence répétées après déplacement de la première mire de calibrage par rapport à la caméra plénoptique 1 , le cas échéant au moyen du système de positionnement motorisé discuté plus haut. En raison de ce déplacement, la position d'un point caractéristique de la première mire de calibrage change, et peut ensuite être appariée avec un ensemble de microlentilles différent après le déplacement de la mire.
Par ailleurs, les étapes 102, 104 et 106 peuvent être répétées après remplacement de la première mire de calibrage par une deuxième mire de calibrage de contenu différent. La deuxième mire de calibrage présente au moins un point caractéristique discernable visuellement ayant une position différente de celle de tout point caractéristique discernable dans la première image de calibrage. Autrement dit, au moins caractéristique de la deuxième mire de calibrage n'est pas référencé dans la première mire de calibrage.
Par exemple, lorsque la première mire de calibrage est de couleur uniforme à l'exception d'un premier motif ponctuel ayant une première position, la deuxième mire de calibrage peut également être de couleur uniforme à l'exception d'un deuxième motif ponctuel ayant une deuxième position différente de la première position.
En particulier, la deuxième mire de calibrage peut être affichée par le même écran d'affichage que la première mire de calibrage, en remplacement de cette dernière, avec ou sans déplacement de l'écran d'affichage.
La caméra plénoptique 1 acquiert une image de la deuxième mire de calibrage, cette image étant appelée « deuxième image de calibrage » pour la distinguer de la première image de calibrage discutée précédemment. Cette image est obtenue par le processeur 16 lors d'une nouvelle mise en œuvre de l'étape 102, puis être utilisée lors d'une nouvelle mise en œuvre des étapes 104 et 106, si bien que de nouveaux appariements sont obtenus (appariement entre au moins un point caractéristique de la deuxième mire de calibrage et des pixels de la deuxième image de calibrage en lesquels ce point caractéristique a été projeté par la caméra plénoptique 1 ).
En définitive, il existe plusieurs façons de démultiplier les appariements : • En examinant différents points caractéristiques d'une même mire de calibrage,
• En changeant la position dans l'espace d'une mire de calibrage par rapport à la caméra plénoptique 1 ,
• En remplaçant une mire de calibrage par une autre présentant des points caractéristiques différents.
De préférence, les étapes 104 et 106 (et le cas échéant l'étape 102) sont répétées de manière à faire en sorte que chaque microlentille de la matrice 4 soit appariée au moins une fois avec un point caractéristique d'une mire de calibrage, dont la position est déterminée.
Dans une étape 108, le processeur 16 calcule, pour chacune des microlentilles adjacentes d'un ensemble identifié à l'étape 104, un écart entre un pixel de l'image en lequel le point caractéristique est projeté par la microlentille et un pixel de l'image issu d'un point de la surface photosensible passant par un axe optique central de la microlentille.
De tels écarts sont en particulier représentés à gauche de la figure 6 discutée précédemment. Considérons une microlentille d'indice i, projetant un point intermédiaire Pj sur la surface photosensible via une droite s'étendant dans une direction indiquée par l'angle 0j. Cette droite, l'axe optique de la microlentille d'indice i et la surface photosensible définissent les trois côtés d'un rectangle. L'écart calculé pour cette microlentille d'indice i est le côté de ce triangle défini par la surface photosensible.
Les différents écarts calculés sont différents d'une microlentille à l'autre. En effet, comme le montre l'exemple à gauche de la figure 6, les angles 0 à 0S respectivement associés aux microlentilles sont différents. On notera que cet exemple illustré est un modèle idéal de la matrice 4 au même titre que la figure 1 , puisqu'il suppose que la matrice 4 est parfaitement orientée par rapport à la surface photosensible (θMLA = 0) et que les microlentilles ne causent pas de distorsion radiale. Dans ce cas, le triangle discuté plus haut est un triangle rectangle.
Toutefois, il est entendu que les écarts précités peuvent être calculés en présence de distorsions radiales causées par la matrice 4.
L'étape 108 de calculs d'écarts est répétée pour chaque ensemble de microlentilles adjacentes ayant été apparié avec une position de point caractéristique à l'issue des étapes 104 et 106.
Les écarts calculés à l'étape 108 constituent des données qui permettent de remonter aux distorsions radiales causées par les microlentilles adjacentes. En effet, il existe une dualité entre un ensemble de points imagés par une caméra et un point imagé par un ensemble de caméras. Cette dualité est illustrée par la figure 3, et peut être postulée comme suit pour une matrice de microlentilles : « Une caméra qui observe une matrice régulière de points est duale à un point observé par une matrice régulière de caméras ». Ainsi, on peut transposer le problème de détermination de distorsions radiales causées par une microlentille (partie droite de la figure 3) en un problème dual (partie gauche de la figure 3) impliquant le calcul des écarts précités.
Ainsi, dans une étape 110, le processeur 16 estime une distorsion radiale causée par la matrice 4 de microlentilles, à partir de chaque écart calculé, et en croisant ces écarts avec d'autres informations pertinentes obtenues précédemment : le modèle géométrique de la matrice 4 de microlentilles, la position de chaque point caractéristique, et, le cas échéant, de l'orientation déterminée à l'étape 100. L'étape 110 exploite ainsi astucieusement de principe de dualité exposé ci-dessus.
De préférence, le processeur fait l'hypothèse à l'étape 110 que toutes les microlentilles sont identiques.
La distorsion radiale est par exemple estimée selon le modèle de Brown.
On a représenté sur la figure 7 les données suivantes :
• pinter est un point intermédiaire image d'un point objet par l'optique d'entrée de la caméra plénoptique. La position de ce point est inconnue.
• xu représente l'image du point intermédiaire Pinter par la ième microlentille dans le cas d'absence de distorsion radiale. La position de ces points est inconnue.
• xd représente l'image de point Pinter par la ième microlentille en présence de distorsion radiale des microlentilles. Ce point est déterminé à l'étape 106.
Par ailleurs, la distance entre les microlentilles est connue, de même que la position du plan de la matrice des microlentilles (celle-ci a été déterminé au cours des étapes précédentes du procédé).
En tirant partie de la dualité expliquée précédemment, on se retrouve avec la configuration présente dans le schéma de gauche de la figure 7, qui est un problème de détermination de la distorsion radiale d'une caméra classique en utilisant une mire contenant une matrice de points caractéristiques (type damier). Soit le modèle de distorsion, suivant, qui lie les points xu et xd :
Figure imgf000017_0001
Figure imgf000018_0001
Où représente le centre de la distorsion.
Au cours de l'étape 110, les paramètres de la distorsion radiale peuvent être déterminés en déterminant le minimum de la fonction de coût suivante :
Figure imgf000018_0002
Avec :
Figure imgf000018_0003
OÙ M est une matrice de projection de la matrice de microlentille.
Figure imgf000018_0004
• Rmia représente la rotation du plan de la matrice de microlentilles déterminées précédemment (voir étapes représentées en figure 5)
• t : est un vecteur de translation qu'un homme du métier détermine lors de l'optimisation.
• : est ième point généré après application du principe de dualité
Figure imgf000018_0005
conformément à la figure 7.
L'optimisation de la fonction coût présentée peut s'effectuer en utilisant un algorithme de recherche itératif (par exemple l'algorithme de Levenberg-Marquardt).
Pour estimer une distorsion radiale causée par une caméra classique, l'homme du métier pourrait par exemple se référer au document suivant : Burger, Wilhelm. "Zhang's camera calibration algorithm: in-depth tutorial and implementation." HGB16-05 (2016): 1-6.
Le fait d'avoir démultiplié les appariements aux étapes 104 et 106 permet d'obtenir un plus grand nombre d'écarts pour l'estimation de la distorsion radiale. Ceci permet ainsi d'estimer de manière plus préciser la distorsion radiale causée par la matrice 4 de microlentilles.
En outre, la prise en compte de l'orientation déterminée à l'étape 100 améliore la précision de l'estimée de distorsion radiale.
La distorsion radiale estimée est mémorisée dans la mémoire 14. Les étapes décrites ci-dessus ont notamment pour avantage de produire une estimation des distorsions radiales causées par la matrice 4 de microlentilles, sans qu'il ait été nécessaire de placer une mire entre la lentille principe 2 et la matrice de microlentilles 4.
Dans une étape 112, le processeur 16 estime des paramètres de la lentille principale 2 de la caméra (distorsion radiale et distorsion de profondeur), en tenant compte de la distorsion radiale estimée, se rapportant à la matrice 4 de microlentille située en aval de la lentille principale 2.
La distorsion radiale estimée à l'étape 112 peut être selon le modèle de Brown. Par ailleurs, la distorsion de profondeur peut être estimée en utilisant les polynômes de Seidel ou Zernike, connus de l'homme du métier.
Au cours de l'étape 112, il est possible de procéder à la reconstruction intermédiaire de la surface d'une mire de calibrage. Cela peut être effectué en corrigeant dans un premier temps la distorsion radiale des microlentilles en utilisant le modèle estimé à l'étape 110, puis en estimant l'intersection des rayons provenant des pixels appariés passant par les centres des microlentilles. Après reconstruction des différentes surfaces intermédiaires de la mire de calibration, l'objectif est de déterminer une transformation 3D-3D entre les points de la mire de calibrage à géométrie parfaitement connue et les points de la reconstruction intermédiaire. Cela peut être effectué en utilisant le modèle proposé dans le document « On the calibration of focused plenoptic cameras », par Johannsen, Ole, et al., Time-of-Flight and Depth Imaging. Sensors, Algorithms, and Applications. Springer, Berlin, Heidelberg, 2013, pages 302-317. Cette étape permet de déterminer le modèle de passage de la reconstruction d'une surface dans le plan intermédiaire de la caméra vers la surface réelle imagée par la caméra plénoptique 1 .
A l'issue de la mise en œuvre des étapes qui précèdent, le dispositif de caractérisation 10 dispose de données indicatives de distorsions causées non seulement par la lentille principale 2 (distorsions radiales et/ou de profondeur) mais également par la matrice 4 de microlentilles (distorsions radiales).
Ces données permettent d'une part d'établir un diagnostic sur l'état de la caméra plénoptique 2. Par exemple, si telle ou telle distorsion est trop élevée (par exemple dépasse un seuil prédéfini), la caméra plénoptique 1 peut être considérée comme étant de qualité insatisfaisante.
Ces données peuvent d'autre part être utilisées par le processeur 16 pour calibrer la caméra plénoptique. Le calibrage de la caméra plénoptique comprend une étape de génération d'un modèle paramétrique de calibrage de la caméra plénoptique 1 , à partir des distorsions estimées. Le modèle paramétrique de calibrage est adapté pour reconstruire une image tridimensionnelle d'une scène à partir d'au moins une image acquise par la caméra plénoptique, en tenant compte des distorsions estimées.
Il en particulier possible de procéder à la reconstruction intermédiaire de la surface d'une mire de calibrage. Cela peut être effectué en corrigeant dans un premier temps la distorsion radiale des microlentilles en utilisant le modèle estimé à l'étape 110, puis en estimant l'intersection des rayons provenant des pixels appariés passant par les centres des microlentilles. Après reconstruction des différentes surfaces intermédiaires de la mire de calibration, l'objectif est de déterminer une transformation 3D-3D entre les points de la mire de calibrage à géométrie parfaitement connue et les points de la reconstruction intermédiaire. Cela peut être effectué en utilisant le modèle proposé dans le document « On the calibration of focused plenoptic cameras », par Johannsen, Ole, et al., Time-of-Flight and Depth Imaging. Sensors, Algorithms, and Applications. Springer, Berlin, Heidelberg, 2013, pages 302-317. Cette étape permet de déterminer le modèle de passage de la reconstruction d'une surface dans le plan intermédiaire de la caméra vers la surface réelle imagée par la caméra plénoptique 1 .
Le modèle de calibrage peut en définitive être utilisée pour appliquer un traitement de correction à une image acquise par la caméra plénoptique 1 ultérieurement, visant à compenser les distorsions causées, selon une méthode connue de l'homme du métier.
Ce traitement de correction peut en partie être mis en œuvre par une unité de traitement intégrée à la caméra plénoptique 1 ou bien par un dispositif externe à la caméra plénoptique tel que le dispositif 10.
La caméra plénoptique 1 peut être utilisée pour de nombreuses applications. L'une d'entre elles est le dimensionnement de pièces, par exemple des pièces de turbomachines telles qu'une aube.

Claims

REVENDICATIONS
1. Procédé de caractérisation de distorsions dans une caméra plénoptique comprenant une matrice de microlentilles et une surface photosensible, le procédé comprenant les étapes suivantes :
• obtention (101 ) d'un modèle géométrique de la matrice de microlentilles indiquant comment les microlentilles sont positionnées les unes par rapport aux autres,
• obtention (102) d'une image d'une mire, l'image ayant été acquise par la caméra plénoptique, la mire présentant un point caractéristique,
• à partir de l'image et à partir du modèle géométrique, identification (104) d'un ensemble de microlentilles adjacentes de la matrice qui projettent le point caractéristique en différents pixels de l'image,
• détermination (106) d'une position du point caractéristique,
• pour chacune des microlentilles adjacentes de l'ensemble, calcul (108) d'un écart entre un pixel de l'image en lequel le point caractéristique est projeté par la microlentille et un pixel de l'image issu d'un point de la surface photosensible passant par un axe optique central de la microlentille,
• estimation (110) d'une distorsion radiale causée par la matrice de microlentilles, à partir de chaque écart calculé, du modèle géométrique de la matrice de microlentilles, et de la position du point caractéristique.
2. Procédé selon la revendication précédente, dans lequel la mire est de couleur uniforme à l'exception d'un motif montré par la mire, le point caractéristique étant défini par le motif.
3. Procédé selon l'une quelconque des revendications précédentes, comprenant une répétition des étapes d'identification (104) et de calcul d'écarts (108) pour plusieurs points caractéristiques présentés par la mire et ayant des positions différentes, la distorsion radiale étant estimée après la répétition.
4. Procédé selon l'une quelconque des revendications précédentes, comprenant une répétition des étapes d'obtention d'image (102) acquise par la caméra plénoptique, d'identification (104) et de calcul d'écarts (108) après un déplacement de la mire par rapport à la caméra plénoptique, la distorsion radiale étant estimée après la répétition.
5. Procédé selon l'une quelconque des revendications précédentes, comprenant une répétition des étapes d'obtention d'image (102) acquise par la caméra plénoptique, d'identification (104) et de calcul d'écarts (108) après remplacement de la mire par une deuxième mire présentant un deuxième point caractéristique non présenté par la mire, la distorsion radiale étant estimée après la répétition.
6. Procédé selon la revendication précédente, dans lequel la mire et la deuxième mire sont successivement affichées par un même écran d'affichage.
7. Procédé selon l'une quelconque des revendications précédentes, comprenant une répétition des étapes d'identification (104) et de calculs d'écarts (108) de sorte qu'au moins écart soit calculé pour chaque microlentille de la matrice.
8. Procédé selon l'une des revendications précédentes, comprenant une étape de détermination (100) d'une orientation de la matrice de microlentilles par rapport à la surface photosensible, la distorsion radiale étant estimée également à partir de l'orientation déterminée.
9. Procédé selon la revendication précédente, dans lequel la détermination (100) de l'orientation de la matrice de microlentilles par rapport à la surface photosensible comprend les étapes suivantes :
• obtention (200) d'une image de référence acquise par la caméra plénoptique, l'image de référence montrant des motifs distincts les uns des autres et respectivement issus de différentes microlentilles de la matrice,
• estimation (204) d'une homographie entre un plan de la matrice de microlentilles et un plan de la surface photosensible, à partir de positions respectives des motifs dans l'image de référence et à partir du modèle géométrique de la matrice de microlentilles.
10. Procédé selon l'une quelconque des revendications précédentes, comprenant une estimation (112) d'une distorsion radiale et/ou d'une distorsion de profondeur causée par une lentille de la caméra plénoptique agencée en amont de la matrice de microlentilles, à partir de la distorsion radiale causée par la matrice de microlentilles ayant été estimée.
11. Procédé de calibrage d'une caméra plénoptique comprenant des étapes de
• caractérisation de distorsions dans la caméra plénoptique au moyen du procédé selon l'une des revendications précédentes, génération d'un modèle de calibrage adapté pour reconstruire une image tridimensionnelle d'une scène à partir d'au moins une image acquise par la caméra plénoptique en tenant compte de la distorsion estimée.
12. Dispositif de calibrage d'une caméra plénoptique comprenant une matrice de microlentilles et une surface photosensible, le dispositif de calibrage comprenant :
• une mémoire (14) configurée pour stocker : o un modèle géométrique de la matrice de microlentilles indiquant comment les microlentilles sont positionnées les unes par rapport aux autres, o une image d'une mire, l'image ayant été acquise par la caméra plénoptique, la mire présentant un point caractéristique,
• au moins un processeur (16) configuré pour : o à partir de l'image de la mire et à partir du modèle géométrique, identifier des microlentilles adjacentes de la matrice qui projettent le point caractéristique en différentes pixels de l'image, o pour chacune des microlentilles adjacentes identifiées, calculer un écart entre un pixel de l'image en lequel le point caractéristique est projeté par la microlentille et un pixel de l'image issu d'un point de la surface photosensible passant par un axe optique de la microlentille, o estimer une distorsion radiale causée par la matrice de microlentilles, à partir des écarts calculés, du modèle géométrique et d'une position du point caractéristique.
13. Kit comprenant :
• une caméra plénoptique (1 ) comprenant une matrice de microlentilles (4) et un capteur (6) présentant une surface photosensible,
• un dispositif de calibrage de la caméra plénoptique (10) selon la revendication précédente.
PCT/FR2022/052275 2021-12-07 2022-12-07 Procédé et dispositif de caractérisation de distorsions dans une caméra plénoptique WO2023105164A1 (fr)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR2113074A FR3130060B1 (fr) 2021-12-07 2021-12-07 procédé et dispositif de caractérisation de distorsions dans une caméra plénoptique
FRFR2113074 2021-12-07

Publications (1)

Publication Number Publication Date
WO2023105164A1 true WO2023105164A1 (fr) 2023-06-15

Family

ID=80786722

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/FR2022/052275 WO2023105164A1 (fr) 2021-12-07 2022-12-07 Procédé et dispositif de caractérisation de distorsions dans une caméra plénoptique

Country Status (2)

Country Link
FR (1) FR3130060B1 (fr)
WO (1) WO2023105164A1 (fr)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9918077B2 (en) 2015-01-09 2018-03-13 Ricoh Company, Ltd. Object space calibration of plenoptic imaging systems
CN207218846U (zh) * 2017-05-03 2018-04-10 丁志宇 环绕式混合光场成像装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9918077B2 (en) 2015-01-09 2018-03-13 Ricoh Company, Ltd. Object space calibration of plenoptic imaging systems
CN207218846U (zh) * 2017-05-03 2018-04-10 丁志宇 环绕式混合光场成像装置

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
BERGAMASCO, FILIPPO ET AL.: "Adopting an unconstrained ray model in light-field caméras for 3d shape reconstruction", PROCEEDINGS OF THE IEEE CONFÉRENCE ON COMPUTER VISION AND PATTERN RÉCOGNITION, 2015
BURGER, WILHELM: "Zhang's caméra calibration algorithme in-depth tutorial and implementation", HGB16-05, 2016, pages 1 - 6
JOHANNSEN, OLE ET AL.: "Time-of-Flight and Depth Imaging. Sensors, Algorithms, and Applications", 2013, SPRINGER, article "On the calibration of focused plenoptic caméras", pages: 302 - 317
NOURY CHARLES-ANTOINE ET AL: "Light-Field Camera Calibration from Raw Images", 2017 INTERNATIONAL CONFERENCE ON DIGITAL IMAGE COMPUTING: TECHNIQUES AND APPLICATIONS (DICTA), IEEE, 29 November 2017 (2017-11-29), pages 1 - 8, XP033287349, DOI: 10.1109/DICTA.2017.8227459 *
YUNSU BOK ET AL: "Geometric Calibration of Micro-Lens-Based Light Field Cameras Using Line Features", COMPUTER VISION – ECCV 2014. ECCV 2014. LECTURE NOTES IN COMPUTER SCIENCE, VOL 8694, 6 September 2014 (2014-09-06), pages 47 - 61, XP055361842, Retrieved from the Internet <URL:http://rd.springer.com/chapter/10.1007/978-3-319-10599-4_4> [retrieved on 20170405], DOI: 10.1109/TPAMI.2016.2541145 *

Also Published As

Publication number Publication date
FR3130060A1 (fr) 2023-06-09
FR3130060B1 (fr) 2023-11-03

Similar Documents

Publication Publication Date Title
EP3412245B1 (fr) Procédé d&#39;évaluation d&#39;une goutière orthodontique
FR3081248A1 (fr) Systeme et procede de determination d’un emplacement pour le placement d&#39;un paquet
EP2457379B1 (fr) Procédé d&#39;estimation d&#39;un défaut d&#39;un système de capture d&#39;images et systèmes associés
EP3262401A1 (fr) Systèmes d&#39;imagerie et leurs procédés d&#39;utilisation
EP3459051B1 (fr) Procédé de reconstruction tridimensionnelle à l&#39;aide d&#39;une caméra plénoptique
FR3024235A1 (fr) Systeme d&#39;imagerie planaire permettant la correction du diffuse
FR3020871A1 (fr) Dispositif et procede de reconstruction tridimensionnelle d&#39;une scene par analyse d&#39;image
WO2010081982A1 (fr) Controle de defauts optiques dans un systeme de capture d&#39;images
FR3058212A1 (fr) Systeme de detection de position de piston hydraulique / pneumatique tolerant a l&#39;usure, utilisant des capteurs optiques
WO2014060657A1 (fr) Procédé de conception d&#39;un imageur monovoie passif capable d&#39;estimer la profondeur de champ
WO2023105164A1 (fr) Procédé et dispositif de caractérisation de distorsions dans une caméra plénoptique
WO2011033186A1 (fr) Procédé de numérisation tridimensionnelle d&#39;une surface comprenant la projection d&#39;un motif combiné
FR3102845A1 (fr) Détermination d&#39;au moins un paramètre optique d&#39;une lentille optique
WO2011033187A1 (fr) Procédé de numérisation tridimensionnelle comprenant une double mise en correspondance
WO2020094441A1 (fr) Capteur d&#39;image pour la reconnaissance optique de code(s)
EP3054422A1 (fr) Procédé de determination d&#39;un axe de rotation d&#39;un objet en tomographie et procédé de caracterisation par tomographie
FR3115626A1 (fr) Procédé de calibrage d’une caméra plénoptique
EP3958785B1 (fr) Programme d&#39;ordinateur d&#39;evaluation d&#39;une gouttiere orthodontique
WO2023187170A1 (fr) Procédé de correction d&#39;aberrations optiques introduites par un objectif optique dans une image, appareil et système mettant en œuvre un tel procédé
FR3132968A1 (fr) Procédé de calibrage d’une caméra plénoptique
WO2023187171A1 (fr) Procédé et système de caractérisation d&#39;un objectif optique pour la correction d&#39;aberrations optiques introduites par ledit objectif optique dans une image
WO2023218072A1 (fr) Procédé de correction globale d&#39; une image, et système associe
WO2021245290A1 (fr) Génération de modèles 3d à l&#39;échelle à partir d&#39;images 2d produites par un dispositif d&#39;imagerie monoculaire
WO2020089122A1 (fr) Procédé de traitement d&#39;une pluralité d&#39;images élémentaires acquises sur un circuit intégré
FR2950139A1 (fr) Procede de numerisation tridimensionnelle comprenant l&#39;acquisition d&#39;un quadruplet d&#39;images stereoscopique

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22843854

Country of ref document: EP

Kind code of ref document: A1