WO2011033187A1 - Procédé de numérisation tridimensionnelle comprenant une double mise en correspondance - Google Patents

Procédé de numérisation tridimensionnelle comprenant une double mise en correspondance Download PDF

Info

Publication number
WO2011033187A1
WO2011033187A1 PCT/FR2010/000611 FR2010000611W WO2011033187A1 WO 2011033187 A1 WO2011033187 A1 WO 2011033187A1 FR 2010000611 W FR2010000611 W FR 2010000611W WO 2011033187 A1 WO2011033187 A1 WO 2011033187A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
images
points
pattern
pair
Prior art date
Application number
PCT/FR2010/000611
Other languages
English (en)
Inventor
Benoît BOCQUILLON
Ludovic Brethes
Original Assignee
Noomeo
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Noomeo filed Critical Noomeo
Publication of WO2011033187A1 publication Critical patent/WO2011033187A1/fr

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2513—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with several lines being projected in more than one direction, e.g. grids, patterns
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2545—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with one projection direction and several detection directions, e.g. stereo
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images

Definitions

  • Three-dimensional scanning method including double mapping
  • the invention relates to the construction of three-dimensional numerical models of physical surfaces by optical measurement, without contact. This technique is commonly called three-dimensional scanning, 3D scanning, or, in English terminology, 3D scanning.
  • the architecture of vision systems for 3D digitizing a surface conventionally comprises two components:
  • the scanner preferably portable
  • the scanner which acquires images of the surface, generally by a succession of shots (point, continuous or continuous) thereof;
  • CAD computer-assisted design
  • CAD / CAM computer-aided design
  • the acquisition of the images is generally carried out by projecting on the surface to be digitized a structured luminous pattern having a predetermined shape (lines, squares, speckles, etc.), then by optical capture of the projected pattern. Treatments are applied to the captured images, making it possible to calculate the spatial coordinates of a selection of points to reconstruct the three-dimensional model of the surface.
  • scanners are generally divided into two types: single-camera scanners (monocular vision), and multi-camera scanners (binocular vision or stereovision, multi-ocular vision).
  • Patent documents US 5,003,166 (MIT), FR 2,842,591 (ENSMA / CNRS), WO2007 / 043036 (PRI ME SENSE), US 2009/0059241 (ARTEC) and FR 2,921,771 (NOOMEO) illustrate this architecture.
  • the projected pattern may be repetitive, for example in the form of lines or segments (see US 5,003,166 cited above), or non-repetitive, for example in the form of a mouchetis (cf. FR 2 842 591 and FR 2 921 719 cited above).
  • images are generally applied to an epipolar rectification treatment to make the epipolar lines of the two images parallel and aligned.
  • the matching or correlation then consists in matching in the stereoscopic images the homologues or stereo- corresponding, that is to say the projections in the image planes of the same point of the physical surface.
  • the difference between the coordinates of the stereo-correspondents is called disparity.
  • the spatial coordinates of the corresponding points of the surface are then calculated by triangulation, the result of the calculations providing a cloud of points located precisely in space.
  • mesh techniques make it possible to obtain a continuous surface.
  • the rectification of images is a well-known problem, for which powerful and robust algorithms have existed for some time now, cf. for example P. Lasserre and P. Grandjean, "Stereo improvements", in IEEE International Conference on Advanced Robotics, Barcelona, 1995.
  • mapping techniques for example V. Lemonde, "Stereovision on vehicle: from Self-Calibration to Obstacle Detection", CNRS / I NSA Thesis, November 2005, S. Chambon, "Stereoscopic mapping of color images in the presence occultations ", Thesis Paul Sabatier University, December 2005, and W. Souid-Miled,” Stereoscopic mapping by convex variational approaches ", Thesis University Paris-Est / I NRIA, December 2007.
  • a pixel of the image B is decreed homologous to the pixel of the image A if its neighborhood maximizes - respectively minimizes - a correlation measurement characteristic of the degree of similarity - respectively of dissimilarity - between the neighborhoods of the image B and that of picture A.
  • the known solutions generally make a compromise between the two following objectives a priori contradictory: the reliability of the mapping and the density of the points clouds obtained.
  • the aim of the invention is to propose a solution that overcomes the aforementioned drawbacks and makes it possible to reliably and accurately reconstruct a three-dimensional numerical model of a surface.
  • the invention proposes a method for constructing a three-dimensional digital model of a physical surface, comprising an acquisition phase and a construction phase, the acquisition phase comprising the following operations:
  • initial matching eg, block matching
  • final mapping sub-pixellic precision
  • the calculation of the extremums comprises:
  • the invention furthermore proposes a computer program product comprising instructions for carrying out the operations of the construction phase of the method described above, as well as a three-dimensional scanning system comprising a projection device of a bright pattern, a stereovision system and a central processing unit on which this program is implemented.
  • Figure 1 is a perspective view illustrating a three-dimensional scanning device comprising a capture apparatus connected to a computer, applied to the scanning of the surface of an object, in this case the face of a statue;
  • Figure 2 is a schematic side view illustrating the main optical components of the apparatus of Figure 1, placed in a shooting situation;
  • Figure 3 is a plan view of a pattern for projection on a surface to be digitized, according to a first embodiment
  • FIG. 4 is a detail view of the pattern of Figure 3;
  • FIG. 5 is a plan view of a pattern for projecting onto a surface to be digitized, according to a second variant embodiment;
  • Figure 6 is a detail view of the pattern of Figure 5;
  • FIG. 7 is a plan view of a pattern for projecting onto a surface to be digitized, according to a third variant embodiment
  • Figure 8 is a detail view of the pattern of Figure 7;
  • Figure 9 is a plan of a pattern for projection on a surface to be digitized, according to a fourth embodiment;
  • Figure 1 0 is a view of a detail of the pattern of Figure 9;
  • Figure 11 shows a pair of structured stereoscopic images of the pattern of Figures 3 and 4 projected on the face of Figure 1;
  • FIG. 12 shows a pair of textured stereoscopic images of the face of FIG. 1;
  • FIG. 13 is a perspective view of a reconstructed point cloud from the pair of structured stereoscopic images of FIG.
  • FIG. 14 is a perspective view showing two non-recalibrated point clouds, reconstructed from two pairs of structured stereoscopic images captured during two successive shots of the face of the statue of FIG. 1;
  • FIG. 15 is a view similar to FIG. 14, showing the two scattered point clouds
  • FIG. 16 is a perspective view showing a plurality of recalibrated point clouds, reconstructed from a series of pairs of stereoscopic images captured during a sequence of successive shots of the face of the statue of FIG. 1.
  • FIG. 1 shows a contactless optical digitization system 1 for constructing a three-dimensional numerical model, in the form of a computer-assisted (CAD) or computer-assisted design (CAD) environment image, of a physical surface 2, for example the envelope of a real physical object 3.
  • this object 3 is a statue but it could be any other object with one or more surfaces to be scanned.
  • the surface 2 to be digitized is embossed, that is to say non-planar, but the system 1, as well as the method implemented described hereinafter, allow a fortiori the digitization of flat surfaces. (Note that to meet the formal requirements for patent drawings, the photograph of the statue in Figure 1 has been filtered and converted to two-color display, hence its granular appearance).
  • the scanning system 1 comprises an optical acquisition device 4 (called capture), called a scanner, equipped with a portable box 5 provided with a handle 6 for its capture and manipulation.
  • capture optical acquisition device 4
  • portable box 5 provided with a handle 6 for its capture and manipulation.
  • the handle 6 carries, on a front face, a manual trigger 7 whose operation commands the shooting.
  • the system 1 also comprises a central processing unit (CPU or CPU) of the images captured by the scanner 4, in the form of a processor on which is implemented a software application for building the digital models from the captured images. More specifically, this software application includes instructions for carrying out the calculation operations described below.
  • CPU central processing unit
  • this software application includes instructions for carrying out the calculation operations described below.
  • the processor can be embedded in the scanner 4 or, as illustrated in FIG. 1, relocated by being integrated in a computer 8 equipped with a graphical interface and connected to the scanner 4 via a com interface 9. wired (or wireless) communication, for example in the form of a USB-type computer bus.
  • the scanner 4 is designed to work in stereovision. As can be seen in FIGS. 1 and 2, it comprises, mounted in the housing 5:
  • a stereovision system 1 1 comprising a pair of cameras-type optical acquisition devices 12, 13 (that is to say designed to take continuous images, for example at the normalized frame rate of 24 frames; per second), or cameras (that is to say shooting occasionally, possibly burst); an optical sighting system 14;
  • an inertial unit 15 configured to provide at any time an invariant absolute reference, constructed from two orthogonal directions identifiable by the central 15, namely the magnetic north and the vertical.
  • optical acquisition devices 12, 13 are cameras, which, if necessary, can be used as cameras.
  • the projector 10 comprises a light source (not visible), a focusing optics 16 and a slide (not visible) interposed between the light source and the focusing optics 16.
  • the light source is preferably a non-coherent source of white light, in particular of the filament or halogen type, or also of the diode (LED) type.
  • the focusing optics 16 of the projector 10 define a main optical axis 17 passing through the light source.
  • This optical axis 17 defines an optical axis of projection of the scanner 4.
  • the cameras 12, 13 each comprise:
  • a focusing optics 18 defining an optical axis 19 (respectively 20) of sight
  • a photosensitive sensor 21 for example of the CCD type, which is in the form of a square or rectangular plate placed, facing the focusing optics 18, on the optical axis 19, 20, that is to say perpendicular to it and so that the axis 19, 20 passes through the center of the sensor 21.
  • the optical centers of the cameras 12, 13 are spaced from one another by a distance called base, their optical axes 19, 20 converging towards a point 22 situated on the optical axis 17 of the projector 10, in the field of this one.
  • the cameras 12, 13 will be oriented such that the point of convergence of their optical axes 19, 20 lies in a median plane situated in the projection field and in the sharpness zone (also called depth of field) of the projector 10.
  • each camera 12, 13 is placed at a predetermined distance from the focusing optics 18, in an image plane depending on its focal length and such that the object plane corresponding to this image plane is in the sharpness zone of the camera.
  • projector 10 As shown in FIG. 2, the projector 10 and the cameras 12, 13 are fixed on a common one-piece plate 23, made of a sufficiently rigid material to minimize the risks of misalignment of the cameras 12, 13 (such a misalignment is called decalibration).
  • the plate 23 is made of an aluminum alloy.
  • the handle 6 of the scanner 4 extends parallel to the base, so that the natural hold of the scanner 4 is vertical, the cameras 12, 13 extending one above the other. the other.
  • the left camera is referred to as the upper camera 12 (located on the thumb side) and the right camera as the lower camera 13.
  • the aiming system 14 is arranged to allow, prior to the shooting, a positioning of the scanner 4 at a distance from the surface 2 to be digitized such that the projected pattern is included in the field of the projector 10 - and therefore net .
  • the aiming system 14 comprises two laser pointers 24 rigidly mounted on the plate 23, designed to emit each, when the trigger 7 is depressed, a linear light beam 25, 26 producing on any surface illuminated, a light spot substantially punctual.
  • the pointers 24 are positioned angularly on the plate 23 so that the beams 25, 26 emitted cross at a point of intersection 27 located on the axis 17 of the projector 10, in the sharpening zone thereof and upstream of the point 22 of convergence of the optical axes 19, 20 of the cameras 12, 13.
  • the slide is disposed between the light source and the optic 16 of the projector 10, on the axis 17, that is to say perpendicular to the axis 17 and so that it passes through the center of the slide .
  • the slide is placed at a predetermined distance from the optics 16 of which it constitutes an object plane, so that the image of the pattern is sharp in an image plane perpendicular to the axis 17.
  • the image plane n ' is not unique, the focusing optics of the projector 10 being designed (or adjusted) to have a certain depth of field, such that the image of the projected pattern is sharp in a certain area of sharpness that extends between two spaced planes perpendicular to the axis 17.
  • the slide is in the form of a translucent or transparent plate (glass or plastic), square or rectangular, on which the pattern is printed by a conventional process (transfer, offset, screen printing, flexography, laser, spray jet). ink, microlithography, etc.).
  • the pattern is structured, that is to say it has alternations of light areas and dark areas of a predetermined shape.
  • the constitution of the pattern (color, contrast) is not random: it is known in every respect.
  • the pattern can be done in grayscale or color, but is preferably made in black and white, maximizing the contrast between light and dark areas.
  • the pattern comprises the combination of two sub-patterns, namely:
  • a regular primary pattern 28 comprising an array of spaced, continuous rectilinear fringes 29, and
  • a secondary pattern that is generally anisotropic, i.e. irregular and non-repetitive in any direction of space.
  • FIGS. 3 to 10 show four variants of patterns that can be used in the digitization system.
  • the secondary pattern 30 comprises scabs 31 extending in the spaces between the fringes 29.
  • the secondary pattern 30 includes pictograms arranged pseudo-randomly.
  • a scabby secondary pattern as shown in FIGS. 3 to 8 can be generated automatically by means of a computer program for performing pseudorandom patterns.
  • One example is Ken Perlin's algorithm generating a well-known type of mouchetis called Perlin noise, which has the advantage of being anisotropic.
  • this type of pattern includes an interweaving of black and white spots that give a grainy appearance to the pattern.
  • the term "scab” refers to this interlacing. In English, this type of pattern is also called "Speckle".
  • the primary pattern 28 has the function of locally generating a strong, easily detectable contrast between white light areas and dark areas, while the secondary pattern 30 has the function, by its anisotropic nature, to locate in the image with certainty any viewing window.
  • the primary pattern 28 is single-oriented and comprises a series of clear fringes 29 (white in color). occurrence) which extend vertically in the orientation illustrated in Figures 3 and 4, each bordered on either side by two parallel strips 32 (black in this case) parallel, similar.
  • the width of the fringes 29 is constant, as is the spacing between fringes 29.
  • the scabs 31 of the secondary pattern 30 extend in strips in the spaces between the fringes 29, and more precisely between the black strips 32 bordering the white fringes 29. .
  • the image is printed on the slide - or it is oriented - so that the fringes 29 extend perpendicularly to the base, that is to say to the axis connecting the optical centers of the cameras 12, 13.
  • the fringes 29 extend perpendicular to the plane containing the optical axes 19, 20 of the cameras 12, 13, so that in stereoscopic vision the fringes 29 extend vertically on the images captured by the cameras 12, 13.
  • This type of pattern is advantageous in comparison with a simple speckle which appears to be of low contrast, since the black and white spots of the slide would, by projection, form grayscale spots.
  • an isotropic pattern made for example only fringes it is inherently unsuitable for stereovision because it is not localizable and therefore unsuitable for matching.
  • the primary pattern 28 is bi-oriented and comprises a series of clear fringes 29 (white in this case) that extend both horizontally and vertically to form a grid.
  • Each horizontal and vertical fringe 29 is bordered, on both sides, by discontinuous black (black) lines, which together form a network of regularly spaced isolated squares with black edges.
  • the scabs 31 of the secondary pattern 30 extend in blocks in the spaces between the fringes 29, that is to say in the squares delimited by the black bands 32.
  • This second variant of the pattern has, compared to the first variant, the advantage of being bi-oriented, so that there is no preferred direction of projection of the pattern on the surface 2, with respect to the orientation of the scanner 4.
  • the multiplication of the fringes 29 makes it possible to increase the density of the contrasting zones of the pattern, in this case at the level of the fringes 29.
  • the primary pattern 28 is bi-oriented and comprises a series of dark fringes 29 (black in this case) which extend both horizontally and vertically to form a grid.
  • Each horizontal and vertical fringe 29 is bordered, on both sides, by discontinuous light strips 32 (white in this case) which together form a network of regularly spaced isolated squares with white edges.
  • the edges 32 of each square are lined, inward, with black bands 33, so that each square has a double perimeter, consisting of a white outer perimeter and a black inner perimeter.
  • this third variant also has the advantage of further increasing the density of contrasting areas of the pattern.
  • the primary pattern 28 is bi-oriented, and comprises a series of light fringes 29 (white in this case). ) that extend both horizontally and vertically to form a grid.
  • the squares delimited by the fringes 29 have a dark background (black in this case) on which there are pictograms 34 of light color (white in this case).
  • the pictograms 34 are distributed pseudo-randomly and so that the vicinity of each pictogram 34 (for example the adjacent pictograms 34 located on the same line, or on the same column) is different from the neighborhoods of all the other pictograms 34.
  • This pattern has the advantage of being more contrasted than the scab patterns, which facilitates matching operations (see below).
  • the calibration of the stereovision system 1 1 is a necessary preliminary step, without which it is not possible to properly process the information captured by the cameras 12, 13.
  • the calibration of a single camera is limited to estimate the intrinsic parameters of the camera as well as its position relative to an absolute reference frame.
  • Calibration of the system 1 1 stereovision is more complex because it involves performing a double calibration, which includes not only the estimation of the intrinsic parameters of each camera 12, 13, but also the relative position and orientation of the cameras 12, 1 3 relative to each other.
  • the calibration consists of matching the two cameras 12, 13 by implementing in the digitization system CPU 1 a given number of structural and optical parameters of the system 1 1 of stereovision, in particular the position of the optical centers and the angle between the optical axes 19, 20.
  • This calibration is not necessarily performed before each use of the system 1. It is preferably made in the factory, using a test pattern (for example a checkerboard) whose geometry is known exactly.
  • Scanning is the step of acquiring one or more pairs of stereoscopic images of the surface 2. More specifically, the scanning procedure comprises the succession of the following operations.
  • the scanner 4 is positioned facing the surface 2 to be digitized - in this case facing the face of the statue.
  • a pulse on the trigger 7 causes the lighting of the pointers 24.
  • the scanner 4 can then be positioned correctly, the concordance of the light spots produced by the lasers on the surface 2 signifying that it is located in the field of the projector 10 and cameras 12, 13.
  • This procedure consists of the following steps:
  • FIG. 1 3 A pair of GD structured stereoscopic images of the face 2 of the statue 1 is illustrated in FIG. 1 3. This figure is provided for illustrative purposes, the GD images not necessarily being displayed on the graphical interface of the computer. .
  • the images of the unlit surface 2 are made in natural light (ambient), possibly embellished with a white light produced for example by light-emitting diodes (LEDs) equipping the scanner 4.
  • the scanner 4 is equipped in front of two circular series of LEDs surrounding the optics 18 of the cameras 12, 13 and oriented along the axes 19, 20 thereof. These images are said to be textured, because in the absence of the projected motif they contain the natural texture of the surface 2.
  • the left image is denoted G '; the right image D '.
  • the images G 'and D' are read by the internal electronics of the cameras 12, 13 and stored in the buffer memory. Meanwhile, the cameras 12, 13 are put on hold.
  • FIG. 14 A pair of textured stereoscopic images G'-D 'of the face 2 of the statue 1 is illustrated in Fig. 14. (NB to meet the formal requirements for patent drawings, the images shown in Fig. 14 have been filtered and converted for display in two colors, hence their granular appearance not to be confused with scab).
  • This acquisition procedure therefore provides a quadruplet of images, hereinafter referred to as "quad", composed of the two pairs of stereoscopic images: a pair of structured images GD and a pair of textured images G'-D ' .
  • the procedure ie the sequence of operations a.1) to a.6), can be repeated as much as necessary, in order to obtain a series of quads.
  • this rehearsal it is possible to scan the surface 2 to cover it completely and shoot it continuously.
  • the pointers 24 can be activated permanently - except for the sequences of shots, otherwise the images would be unusable - so as to allow the user to maintain relatively constant the distance between the scanner 4 and the surface 2.
  • the eye Given the shutter speeds of the cameras 1 2, 13 (of the order of a few milliseconds), the eye does not perceive the extinction of the lasers 24 during the shooting, the user having the illusion of a continuous pointing.
  • CCD sensor size 1024x768 pixels
  • the raw images of each quad are affected by defects, notably a distortion and an absence of parallelism of the epipolar lines between images of the same stereoscopic pair.
  • a pretreatment including the following operations, programmed in the form of instructions in the CPU of the computer 8 for their implementation:
  • Rectification of the distortion (for example by means of known algorithms), aimed at straightening the straight lines that appear curved on the images;
  • Epipolar rectification which allows, for a pair of stereoscopic images, to match at any point of the left image a horizontal line of the right image, and vice versa. Like the distortion rectification, epipolar rectification can be conducted using conventional algorithms. The skilled person can refer to the documents mentioned in the introduction.
  • the reconstruction step aims to calculate, from the pair of structured stereoscopic images GD, a cloud of three-dimensional points of the surface to be digitized.
  • the reconstruction comprises two phases, programmed in the form of instructions in the CPU of the computer 8 for their implementation:
  • the MEC consists of matching points of the G-D structured image pair.
  • the MEC is performed in two stages: an initial MEC, relatively coarse; then a final, finer MEC, based on the results of the initial MEC.
  • the initial MEC consists in performing for each pixel P G of coordinates (i, y) of the image G a local correlation consisting of:
  • each correlation window of the image D corresponds to a correlation measure (or score);
  • the correlation window that maximizes the correlation score - or minimizes it, depending on whether similarity or dissimilarity criteria are used.
  • the pixel P D located in the center of this window is then matched to the pixel P G , the pixels P G and P D being called homologous or stereocomponent.
  • ⁇ (expressed in mm) is the depth tolerance, measured along the optical axis 17 of the projector 10;
  • ztravaii (expressed in mm) is approximately the normal working distance of the scanner 4, i.e. the average distance between the scanner 4 and the surface 2 to be digitized, measured along the optical axis 17 of the projector 10 ;
  • focal length (expressed in pixel equivalents) is the focal length of the cameras 12, 13;
  • the accuracy of the disparity must be 0.1 pixel.
  • the disparity must be precise to the sub-pixel, and more precisely to the tenth of a pixel.
  • Such precision is not attainable by means of an initial MEK as described above.
  • the results of the initial MEC can be used as a basis for the fine MEC, which is more accurate but based primarily on the primary pattern points.
  • the final MEC includes the following operations, programmed as instructions in the CPU of the computer 8 for their implementation:
  • the derivative is computed in a discrete manner, for example equal to the slope of the segment joining two successive points whose abscissa values are those of the corresponding pixels, and the ordinates the values of the corresponding light intensities (on a scale from 0 to 255 for eight-bit gray levels).
  • a pixel corresponds to a peak when a function derived from the luminous intensity changes sign between this pixel and the neighboring pixel situated on the same line P G (i + 1, j). More precisely, and according to the algorithmic chosen, we can decree that the pixel corresponds to a peak when the function derived from the luminous intensity changes from sign to rising, that is to say that it is negative to the pixel / 3 ⁇ 40 ⁇ D t e positive pixel P G (i + l, j).
  • b.2) Calculation of the coordinates of the points of the image G, called extremums (in practice it is about maximums) and noted hereafter E G , corresponding to the detected peaks. These points are not pixels.
  • a window is chosen containing the pixel P G (i, j), for example the window comprising P G (i, j) and the two pixels flanking it on the same line, ie P G (i - 1, j) and P G (i + 1, j).
  • a continuous interpolation function of the luminous intensity of the pixels of this window is then calculated, and then the abscissa x G of the extremum E G , that is to say of the point which maximizes this function, is calculated. interpolation.
  • the interpolation function being continuous, the abscissa x G is not complete: it is a real number.
  • Steps b.1) to b.7) are repeated for all light intensity peaks, the mapping produces a pair of pairs of points E c and E D paired for the GD image pair.
  • the contrast is lower in the secondary pattern 30 than in the primary pattern 28. Also, the detection of peaks is less reliable in the corresponding areas of the G and D images. in the secondary pattern 30, only in areas corresponding to the primary pattern 28, wherein the alternation of light and dark areas is sharper.
  • the fine ECM is it preferable to limit the fine ECM to a selection of points of interest located in the fringes 29 of the primary pattern 28, that it is by therefore necessary to locate.
  • This location can be performed by vertical scanning of the image (in the case of the first pattern version) or by combining a vertical scan and a horizontal scan (in the case of the second version and the third version of the pattern), and by estimating the similarity of the neighborhoods.
  • the fringes 29 are characterized in fact by a directional isotropy which results in a homogeneity of the neighborhoods of the points of the fringes 29 in the direction in which it extends.
  • extremums E G and E D are homologous (or stereo- corresponding), they are the projections, respectively in the left image G and in the right image D, of the same point of the surface 2 to be digitized.
  • the triangulation makes it possible to obtain a cloud of points which forms a first blank, scattered, of the three-dimensional model of the surface to be digitized.
  • FIG. 5 Such a cloud of points is represented in FIG. 5.
  • This cloud results from the succession of the MEC and triangulation phases applied to the image pair G-D of FIG.
  • the cloud is oriented, and includes several groups of points all located in parallel vertical planes. This illustrates the MEC technique described above, in which the fine MEC has been limited to a selection of points of interest located in the fringes 29 of the primary pattern 28, due to the accuracy of their location in the G images and D.
  • the scanned surface 2 has evolved in space, between two successive shots, in a reference linked to the scanner 4, in practice a Cartesian landmark whose center coincides with the image focus of the left camera 12, and whose axes are respectively:
  • x the line parallel to the horizontal of the sensor 21 of the left camera 12 passing through its image focus, located in the center of the sensor 21;
  • y the line parallel to the verticals of the sensor 21 of the left camera 12 and passing through its image focus
  • the registration aims to evaluate the movements of the scanner 12 between two successive shots, then to apply to the point clouds resulting from these shots transformations (called “poses” and each consisting of the combination of a rotation and a translation) corresponding to these displacements, in order to align the marks of each cloud of points.
  • the data of the inertial unit 15 make it possible to calculate: the absolute rotation matrix, denoted Rj, transformation matrix of the reference associated with the scanner 4 towards the terrestrial reference at the iteration i,
  • R i + 1 the absolute rotation matrix, denoted R i + 1 , the transformation matrix of the reference associated with the scanner 4 towards the terrestrial reference at the iteration i + 1.
  • the relative rotation matrix between the cloud Nj and the cloud N i + 1 denoted Ri +1 , is equal to the product of the matrix Rj by the inverse matrix of the matrix R i + 1 :
  • the scanner 4 having been moved between the two successive quads corresponding to the clouds Nj and N i + 1 (for an acquisition frequency of 4 Hz, there is in practice a time shift of approximately 250 ms between the quads), the successive pairs of Structured stereoscopic images Gj-Dj and G i + 1 -D i + 1 , on the basis of which the clouds have been reconstructed, are unusable only for the calculation of the translation between clouds.
  • the projected pattern has moved on the surface 2 to be digitized, so that no reliable correlation can be made directly between the left images Gj and G i + 1 (respectively between the straight images Dj and D i + 1 ) pairs of images Gj-Dj and G i + 1 -D i + 1
  • G ' i + 1 for the corresponding points of G' j , by means of a point tracking algorithm (for example the Lucas-Kanade point-tracking algorithm, see B. Lucas and T. Kanade, "An Iterative Image Registration Technique with an Application to Stereo Vision,” in Proceedings of Imaging Understanding Workshop, pp. 121-130, 1981) based on surface texture similarities 2, acquired during the acquisition of the images. textured G'-D '(hence the usefulness of these images as part of the registration).
  • a point tracking algorithm for example the Lucas-Kanade point-tracking algorithm, see B. Lucas and T. Kanade, "An Iterative Image Registration Technique with an Application to Stereo Vision," in Proceedings of Imaging Understanding Workshop, pp. 121-130, 1981
  • This reinjection supposes either to have previously corrected the textured images G ' j and G' i + 1 , or to rectify the points P j G 'and ⁇ + ⁇ , so as to correspond at least locally the landmarks of the textured images with those structured images in which the points are reinjected.
  • the inverse of the rotation R - +1 is then applied to the second cloud of reduced density to rotate it in rotation on the first cloud of reduced density.
  • FIG. 15 shows the clouds of FIG. 14, recalibrated.
  • the construction of the numerical model of the surface 2 is carried out from the clouds of points resulting from the resetting.
  • the final point cloud obtained by aggregating the points clouds resulting from the resetting, has a high density (see figure). 16, which shows ten clouds of successive points recalibrated).

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

Procédé de construction d'un modèle numérique tridimensionnel d'une surface (2) physique, comportant une phase d'acquisition et une phase de construction, La phase d'acquisition comprenant les opérations suivantes : Projection sur la surface (2) d'un motif lumineux structuré, Acquisition et mémorisation d'un couple d'images (G-D) stéréoscopiques tridimensionnelles de la surface (2) ainsi éclairée, La phase de construction comprenant les opérations suivantes : Appariement d'une pluralité de points sélectionnés dans le couple (G-D) d'images stéréoscopiques, cet appariement comprenant : Une mise en correspondance initiale consistant à apparier des pixels (PG, PD) ayant des voisinages similaires dans les deux images (G, D) du couple; Une mise en correspondance finale exploitant les résultats de la mise en correspondance initiale. Calcul, pour l'ensemble des points appariés, de coordonnées des points correspondants de la surface (2) à numériser, Construction du modèle numérique à partir des coordonnées calculées.

Description

Procédé de numérisation tridimensionnelle comprenant une double mise en correspondance
L'invention a trait à la construction de modèles numériques tridimensionnels de surfaces physiques par mesure optique, sans contact. Cette technique est couramment appelée numérisation tridimensionnelle, numérisation 3D, ou encore, suivant la terminologie anglo-saxonne, scanning 3D.
L'architecture des systèmes de vision permettant de réaliser la numérisation 3D d'une surface comprend classiquement deux composants :
un composant physique : le scanner (de préférence portatif), qui effectue une acquisition d'images de la surface, généralement par une succession de prises de vues (ponctuelles, en rafale ou en continu) de celle-ci ;
un composant logiciel de traitement des images produites par le scanner, ce traitement permettant d'effectuer une reconstruction tridimensionnelle de synthèse de la surface, par exemple dans un environnement CAO (Conception assistée par ordinateur) ou CFAO (Conception et Fabrication assistées par ordinateur).
L'acquisition des images est généralement effectuée par projection sur la surface à numériser d'un motif lumineux structuré ayant une forme prédéterminée (lignes, carrés, mouchetis, etc. ), puis par capture optique du motif projeté. Des traitements sont appliqués aux images capturées, permettant de calculer les coordonnées spatiales d'une sélection de points pour reconstruire le modèle tridimensionnel de la surface.
Sur la base de ce même principe fondamental, de nombreuses solutions ont été proposées, qui varient selon trois axes principaux : l'architecture du scanner ; la nature et la forme du motif projeté ; la méthodologie de reconstruction.
S'agissant en premier lieu des scanners, on en distingue généralement deux types : les scanners à caméra unique (vision monoculaire), et les scanners à caméras multiples (vision binoculaire ou stéréovision ; vision multi-oculaire) .
Dans les scanners fonctionnant en vision monoculaire, une seule image du motif déformé est produite. Cette image est ensuite comparée à une image de référence du motif non déformé pour effectuer la reconstruction. Les documents de brevet US 5 003 1 66 (MIT), FR 2 842 591 (ENSMA/CNRS), WO2007/043036 (PRI ME SENSE), US 2009/0059241 (ARTEC) et FR 2 921 71 9 (NOOMEO) illustrent cette architecture.
Dans les scanners fonctionnant en vision binoculaire ou multi- oculaire, qui sont ceux qui nous intéressent ici, au moins deux images du motif déformé sont produites simultanément, et on effectue une comparaison de ces images pour effectuer la reconstruction. La demande internationale WO 2006/094409 (CREAFORM) illustre cette architecture.
S'agissant en second lieu du motif projeté, il peut être répétitif, par exemple sous forme de lignes ou de segments (cf. US 5 003 166 précité), ou non répétitif, par exemple sous forme d'un mouchetis (cf. notamment FR 2 842 591 et FR 2 921 719 précités).
S'agissant enfin de la méthodologie de reconstruction, elle peut varier d'une solution à l'autre en matière de choix des algorithmes, mais comprend généralement trois étapes :
la rectification des images ;
- la mise en correspondance ;
le calcul des coordonnées spatiales de points de la surface numérisée.
En stéréovision, la rectification des images est préférable pour faciliter leur exploitation ultérieure. Outre la correction des distorsions induites par les systèmes optiques, on applique généralement aux images un traitement de rectification épipolaire visant à rendre parallèles et alignées les droites épipolaires des deux images.
La mise en correspondance ou corrélation consiste ensuite à apparier dans les images stéréoscopiques les homologues ou stéréo- correspondants, c'est-à-dire les projections dans les plans images d'un même point de la surface physique. La différence entre les coordonnées des stéréo-correspondants est appelée disparité.
Une fois calculées les disparités, les coordonnées spatiales des points correspondants de la surface sont alors calculées par triangulation, le résultat des calculs fournissant un nuage de points localisés précisément dans l'espace. A partir d'un nuage de points, des techniques de maillage permettent d'obtenir une surface continue. La rectification des images est une problématique bien connue, pour laquelle des algorithmes performants et robustes existent depuis quelque temps déjà, cf. par exemple P. Lasserre et P. Grandjean, « Stereo improvements » , dans IEEE International Conférence on Advanced Robotics, Barcelone, 1995.
De même, une fois la mise en correspondance effectuée, les calculs de triangulation ne posent pas de problèmes particuliers.
En revanche, la problématique de la mise en correspondance est beaucoup plus complexe, et fait actuellement l'objet de nombreuses recherches pour parvenir à des solutions efficaces, rapides et robustes.
Pour un aperçu de certaines techniques de mise en correspondance (et, incidemment, une meilleure compréhension de la géométrie épipolaire en stéréovision), cf. par exemple V. Lemonde, « Stéréovision embarquée sur véhicule : de l'auto-Calibrage à la Détection d'obstacles », Thèse CNRS/I NSA, Novembre 2005, S. Chambon, « Mise en correspondance stéréoscopique d'images couleur en présence d'occultations », Thèse Université Paul Sabatier, Décembre 2005, et W. Souid-Miled, « Mise en correspondance stéréoscopique par approches variationnelles convexes », Thèse Université Paris-Est/I NRIA, Décembre 2007.
Une technique ordinaire de mise en correspondance est celle dite du block matching. Cette technique, décrite dans M. Brown et al, « Advances in Computational Stereo » , in IEEE transactions on pattern analysis and machine intelligence, vol. 25, n°8, pp. 993-1 008, Août 2003, et dans T. Lim, « Utilisation de la méthode du block matching pour la reconstruction de la profondeur d'images stéréo » , Rapport de stage de Magistère, ENS Cachan, Août 2006, est une méthode dite locale consistant à comparer un voisinage d'un pixel (centré sur ce pixel et appelé fenêtre de corrélation) de l'une des images A du couple stéréoscopique avec différents voisinages de même taille extraits de l'autre image B du couple. Un pixel de l'image B est décrété homologue du pixel de l'image A si son voisinage maximise - respectivement minimise - une mesure de corrélation caractéristique du degré de similarité - respectivement de dissimilarité - entre les voisinages de l'image B et celui de l'image A.
La complexité de la mise en correspondance croît avec le nombre de points que l'on souhaite apparier. En effet, s'il est relativement simple de sélectionner un faible nombre de points d'intérêt (par exemple situés dans un environnement fortement contrasté permettant de détecter facilement les stéréo-correspondants), un appariement plus dense se heurte rapidement à des difficultés d'analyse en raison de la présence d'ambiguïtés dans certaines zones des images qui pèchent par exemple par un aspect trop homogène, voire par l'absence totale de contenu (par exemple en raison de phénomènes d'occultation qui ne manquent pas d'apparaître, notamment pour des surfaces présentant des reliefs prononcés).
Aussi, les solutions connues font-elles généralement un compromis entre les deux objectifs suivants a priori contradictoires : la fiabilité de la mise en correspondance et la densité des nuages de points obtenus.
Les erreurs de mise en correspondance aboutissent à l'obtention de points manifestement aberrants qui doivent être éliminés au moyen de techniques de filtrage. Outre que cette élimination requiert de la puissance et du temps de calcul, elle diminue le nombre total de points utiles - et donc la densité de la reconstruction.
On peut tenter de remédier à une insuffisance de densité en réitérant les opérations d'acquisition et de traitement, de sorte à générer plusieurs nuages de points qu'il est ensuite nécessaire de recaler dans l'espace en raison des décalages intervenus entre deux prises de vues successives. Mais les techniques de recalage sont complexes, et nécessitent une puissance et/ou un temps de calcul proportionnels au nombre de nuages à recaler. En outre, l'augmentation de la densité de reconstruction est vaine si la mise en correspondance ne permet pas d'obtenir des nuages de points de manière suffisamment fiable et précise.
Or la contrainte de précision se fait plus prégnante à mesure que croît la demande pour des systèmes capables de numériser des objets de manière détaillée, quelle qu'en soit la taille. Les inventeurs estiment qu'une contrainte de précision au dixième de millimètre sera bientôt la norme, et que des contraintes encore supérieures (pouvant aller jusqu'au centième de millimètre) sont à envisager à moyen et long termes. Or la précision des techniques classiques de mise en correspondance, notamment celle du block matching, prévues pour effectuer une corrélation d'images à l'échelle du pixel, est insuffisante pour permettre une reconstruction fiable de nuages de points avec une précision sub-millimétrique.
L'invention vise à proposer une solution remédiant notamment aux inconvénients précités, et permettant de reconstruire de manière fiable et précise un modèle numérique tridimensionnel d'une surface.
A cet effet, l'invention propose un procédé de construction d'un modèle numérique tridimensionnel d'une surface physique, comportant une phase d'acquisition et une phase de construction, la phase d'acquisition comprenant les opérations suivantes :
- Projection sur la surface d'un motif lumineux structuré,
Acquisition et mémorisation d'un couple d'images stéréoscopiques bidimensionnelles de la surface ainsi éclairée,
la phase de construction comprenant les opérations suivantes :
Appariement d'une pluralité de points sélectionnés dans le couple d'images stéréoscopiques,
Calcul, pour l'ensemble des points appariés, de coordonnées des points correspondants de la surface à numériser,
Construction du modèle numérique à partir des coordonnées calculées,
procédé dans lequel l'opération d'appariement comprend deux étapes successives, à savoir :
Une mise en correspondance initiale consistant à apparier des pixels ayant des voisinages similaires dans les deux images du couple ;
- Une mise en correspondance finale comprenant les opérations suivantes :
• Détecter, dans une première image du couple, des pics locaux d'intensité lumineuse,
• Calculer les coordonnées des points, appelés extremums, de la première image correspondant aux pics,
• Pour chaque extremum de la première image, sélectionner, dans la deuxième image du couple, une fenêtre contenant le pixel apparié au pixel de la première image contenant cet extremum ,
· Détecter dans cette fenêtre un pic d'intensité lumineuse, • Si un tel pic existe, calculer les coordonnées de l'extremum correspondant dans la deuxième image ;
• Apparier l'extremum de la deuxième image et l'extremum de la première image.
La combinaison d'une mise en correspondance initiale (par exemple du type block matching), d'une précision pixellique, et d'une mise en correspondance finale, d'une précision sous-pixellique, permet d'accroître de manière notable la précision - et la densité - ainsi que la fiabilité de la reconstruction tridimensionnelle.
Selon un mode particulier de réalisation, le calcul des extremums comprend :
Le calcul d'une fonction continue d'interpolation de l'intensité lumineuse des pixels de la fenêtre ;
L'identification du point qui maximise cette fonction d'interpolation. L'invention propose par ailleurs un produit programme d'ordinateur comprenant des instructions pour la mise en œuvre des opérations de la phase de construction du procédé décrit ci-dessus, ainsi qu'un système de numérisation tridimensionnelle comprenant un dispositif de projection d'un motif lumineux, un système de stéréovision et une unité centrale de traitement sur laquelle est implémenté ce programme.
D'autres objets et avantages de l'invention apparaîtront à la lumière de la description faite ci-après en référence aux dessins annexés dans lesquels :
la figure 1 est une vue en perspective illustrant un dispositif de numérisation tridimensionnelle comprenant un appareil de capture relié à un ordinateur, appliqué à la numérisation de la surface d'un objet, en l'occurrence le visage d'une statue ;
la figure 2 est une vue schématique de côté illustrant les principaux composants optiques de l'appareil de la figure 1 , placés dans une situation de prise de vue ;
la figure 3 est une vue en plan d'un motif pour la projection sur une surface à numériser, selon une première variante de réalisation ;
la figure 4 est une vue d'un détail du motif de la figure 3 ; la figure 5 est une vue en plan d'un motif pour la projection sur une surface à numériser, selon une deuxième variante de réalisation ;
la figure 6 est une vue d'un détail du motif de la figure 5 ;
- la figure 7 est une vue en plan d'un motif pour la projection sur une surface à numériser, selon une troisième variante de réalisation ;
la figure 8 est une vue d'un détail du motif de la figure 7 ;
la figure 9 est une en plan d'un motif pour la projection sur une surface à numériser, selon une quatrième variante de réalisation ; la figure 1 0 est une vue d'un détail du motif de la figure 9 ;
la figure 1 1 montre un couple d'images stéréoscopiques structurées du motif des figures 3 et 4 projeté sur le visage de la figure 1 ;
- la figure 12 montre un couple d'images stéréoscopiques texturées du visage de la figure 1 ;
la figure 1 3 est une vue en perspective d'un nuage de points reconstruit à partir du couple d'images stéréoscopiques structurées de la figure 1 1 ;
- la figure 14 est une vue en perspective montrant deux nuages de points non recalés, reconstruits à partir de deux couples d'images stéréoscopiques structurées capturées lors de deux prises de vues successives du visage de la statue de la figure 1 ;
la figure 1 5 est une vue similaire à la figure 14, montrant les deux nuages de points recalés ;
la figure 1 6 est une vue en perspective montrant une pluralité de nuages de points recalés, reconstruits à partir d'une série de couples d'images stéréoscopiques capturées lors d'une séquence de prises de vues successives du visage de la statue de la figure 1 .
Sur la figure 1 est représenté un système 1 de numérisation optique sans contact, permettant de construire un modèle numérique tridimensionnel, sous forme d'une image de synthèse en environnement de DAO (dessin assisté par ordinateur) ou CAO (Conception assistée par ordinateur) , d'une surface 2 physique, par exemple l'enveloppe d'un objet physique réel 3. En l'occurrence, cet objet 3 est une statue mais il pourrait s'agir de tout autre objet présentant une ou plusieurs surfaces à numériser. Généralement, la surface 2 à numériser est en relief, c'est-à-dire non plane, mais le système 1 , ainsi que le procédé mis en œuvre décrit ci-après, permettent a fortiori la numérisation de surfaces planes. (NB. pour respecter les prescriptions formelles en matière de dessins de brevets, la photographie de la statue sur la figure 1 a été filtrée et convertie pour un affichage en deux couleurs, d'où son aspect granuleux).
Le système 1 de numérisation comprend un appareil 4 d'acquisition (ou capture) optique, dénommé scanner, équipé d'un boîtier 5 portatif muni d'une poignée 6 permettant sa saisie et sa manipulation. La poignée 6 porte, sur une face avant, un déclencheur 7 manuel dont l'actionnement commande la prise de vue.
Le système 1 comprend également une unité centrale de traitement (UC ou CPU) des images capturées par le scanner 4, sous forme d'un processeur sur lequel est implémentée une application logicielle de construction des modèles numériques à partir des images capturées. Plus précisément, cette application logicielle comprend des instructions permettant de mettre en œuvre les opérations de calcul décrite ci- après.
Le processeur peut être embarqué dans le scanner 4 ou, comme cela est illustré sur la figure 1 , délocalisé en étant intégré dans un ordinateur 8 équipé d'une interface graphique et relié au scanner 4 par l'intermédiaire d'une interface 9 de com munication filaire (ou sans fil), par exemple sous forme d'un bus informatique de type USB.
Le scanner 4 est conçu pour fonctionner en stéréovision. Comme cela est visible sur les figures 1 et 2, il comprend, montés dans le boîtier 5 :
un projecteur 10 lumineux ;
- un système 1 1 de stéréovision comprenant une paire de dispositifs 12, 13 d'acquisition optique, de type caméras (c'est-à-dire conçu pour réaliser des prises de vues en continu, par exemple à la cadence normalisée de 24 images par seconde) , ou appareils photographiques (c'est-à-dire réalisant des prises de vues ponctuelles, éventuellement en rafale) ; un système 14 de visée optique ;
une centrale 15 inertielle, configurée pour fournir à tout instant un référentiel absolu invariant, construit à partir de deux directions orthogonales identifiables par la centrale 15, à savoir le Nord magnétique et la verticale.
On suppose dans ce qui suit que les dispositifs 12, 13 d'acquisition optique sont des caméras, qui, au besoin, peuvent être employées comme appareils photographiques.
Le projecteur 10 comprend une source lumineuse (non visible), une optique 16 de focalisation et une diapositive (non visible), interposée entre la source lumineuse et l'optique 16 de focalisation.
La source lumineuse est de préférence une source non cohérente de lumière blanche, notamment de type à filament ou halogène, ou encore à diode (LED).
L'optique 16 de focalisation du projecteur 10 définit un axe optique principal 17 passant par la source lumineuse. Cet axe optique 17 définit un axe optique de projection du scanner 4.
Les caméras 12, 13 comprennent chacune :
une optique 18 de focalisation définissant un axe optique 19 (respectivement 20) de visée,
un capteur 21 photosensible, par exemple de type CCD, qui se présente sous forme d'une plaque carrée ou rectangulaire placée, en regard de l'optique 18 de focalisation, sur l'axe optique 19, 20, c'est-à-dire perpendiculairement à celui-ci et de sorte que l'axe 19, 20 passe par le centre du capteur 21.
Les centres optiques des caméras 12, 13 sont espacés l'un de l'autre d'une distance appelée base, leurs axes optiques 19, 20 convergeant vers un point 22 situé sur l'axe optique 17 du projecteur 10, dans le champ de celui-ci. En pratique, on orientera les caméras 12, 13 de telle sorte que le point de convergence de leurs axes optiques 19, 20 se trouve dans un plan médian situé dans le champ de projection et dans la zone de netteté (également appelé profondeur de champ) du projecteur 10.
Le capteur 21 de chaque caméra 12, 13 est placé à une distance prédéterminée de l'optique 18 de focalisation, dans un plan image dépendant de sa focale et tel que le plan objet correspondant à ce plan image se trouve dans la zone de netteté du projecteur 10. Comme cela est illustré sur la figure 2, le projecteur 10 et les caméras 12, 13 sont fixés sur une platine 23 commune monobloc, réalisée dans un matériau suffisamment rigide pour minimiser les risques de désaxement des caméras 12, 13 (un tel désaxement est appelé décalibrage). En pratique, la platine 23 est réalisée dans un alliage d'aluminium .
Comme cela est visible sur la figure 1 , la poignée 6 du scanner 4 s'étend parallèlement à la base, de sorte que la tenue naturelle du scanner 4 est verticale, les caméras 12, 13 s'étendant l'une au-dessus de l'autre. Par convention toutefois, on dénomme caméra gauche la caméra supérieure 12 (située du côté du pouce) et caméra droite la caméra inférieure 13.
Le système 14 de visée est agencé pour permettre, préalablement à la prise de vue, un positionnement du scanner 4 à une distance de la surface 2 à numériser telle que le motif projeté soit inclus dans le champ du projecteur 10 - et soit par conséquent net.
Comme cela est illustré sur la figure 2, le système 14 de visée comprend deux pointeurs laser 24 montés rigidement sur la platine 23, conçus pour émettre chacun, lorsque le déclencheur 7 est enfoncé, un faisceau lumineux linéaire 25, 26 produisant, sur toute surface éclairée, une tache lumineuse sensiblement ponctuelle.
Les pointeurs 24 sont positionnés angulairement sur la platine 23 pour que les faisceaux 25, 26 émis se croisent en un point d'intersection 27 situé sur l'axe 17 du projecteur 10, dans la zone de netteté de celui-ci et en amont du point 22 de convergence des axes optiques 19, 20 des caméras 12, 13.
La diapositive est disposée entre la source lumineuse et l'optique 16 du projecteur 10, sur l'axe 17, c'est-à-dire perpendiculairement à l'axe 17 et de sorte que celui-ci passe par le centre de la diapositive. La diapositive est placée à une distance prédéterminée de l'optique 16 dont elle constitue un plan objet, de telle sorte que l'image du motif soit nette dans un plan image perpendiculaire à l'axe 17. En pratique, le plan image n'est pas unique, l'optique de focalisation du projecteur 10 étant conçue (ou réglée) pour présenter une certaine profondeur de champ, telle que l'image du motif projeté soit nette dans une certaine zone de netteté qui s'étend entre deux plans espacés perpendiculaires à l'axe 17. La diapositive se présente sous la forme d'une plaque translucide ou transparente (en verre ou en matière plastique), carrée ou rectangulaire, sur laquelle le motif est imprimé par un procédé classique (transfert, offset, sérigraphie, flexographie, laser, jet d'encre, microlithographie, etc.).
Le motif est structuré, c'est-à-dire qu'il présente des alternances de zones claires et de zones sombres d'une forme prédéterminée. La constitution du motif (couleur, contraste) n'est pas aléatoire : elle est connue en tout point. Le motif peut être réalisé en niveaux de gris ou en couleurs, mais il est de préférence réalisé en noir et blanc, ce qui maximise le contraste entre zones claires et zones sombres.
Plus précisément, le motif comprend la combinaison de deux sous- motifs, à savoir :
Un motif primaire 28 régulier, comprenant un réseau de franges 29 rectilignes continues espacées, et
un motif secondaire 30 globalement anisotrope, c'est-à-dire irrégulier et non répétitif dans toute direction de l'espace.
On a représenté sur les figures 3 à 1 0 quatre variantes de motifs pouvant être utilisés dans le système de numérisation.
Suivant un mode de réalisation illustré sur les figures 3 à 8 qui illustrent trois variantes, le motif secondaire 30 comprend des tavelures 31 s'étendant dans les espaces entre franges 29. Suivant un autre mode de réalisation illustré sur les figures 9 et 1 0, le motif secondaire 30 comprend des pictogrammes agencés de manière pseudo-aléatoire.
Un motif secondaire 30 à tavelures tel qu'illustré sur les figures 3 à 8 peut être généré de manière automatique au moyen d'un programme d'ordinateur permettant de réaliser des motifs pseudo-aléatoires. Citons à titre d'exemple l'algorithme de Ken Perlin générant un type de mouchetis bien connu appelé Bruit de Perlin, qui présente l'avantage d'être anisotrope. Dans le détail, ce type de motif comprend un entrelacement de taches noires et blanches qui donnent un aspect granuleux au motif. Le terme « tavelure » désigne cet entrelacement. En anglais, ce type de motif est également dénommé « Speckle ».
Comme nous le verrons plus en détail ci-après, le motif primaire 28 a pour fonction de générer localement un fort contraste, aisément détectable, entre zones claires blanches et zones sombres, tandis que le motif secondaire 30 a pour fonction, par sa nature anisotrope, de localiser dans l'image avec certitude toute fenêtre de visualisation.
Dans la première variante du premier mode de réalisation, représentée dans son ensemble sur la figure 3 et en détail à échelle agrandie sur la figure 4, le motif primaire 28 est mono-orienté et comprend une série de franges 29 claires (blanches en l'occurrence) qui s'étendent verticalement dans l'orientation illustrée sur les figures 3 et 4, bordées chacune, de part et d'autre, par deux bandes sombres 32 (noires en l'occurrence) parallèles, semblables.
La largeur des franges 29 est constante, de même que l'espacement entre franges 29.
Comme cela est visible sur la figure 3, et plus en détail sur la figure 4, les tavelures 31 du motif secondaire 30 s'étendent par bandes dans les espaces entre franges 29, et plus précisément entre les bandes noires 32 bordant les franges 29 blanches.
Compte tenu du caractère mono-directionnel du motif primaire 28, il existe une orientation préférée du motif général, par rapport au positionnement du système 1 1 de stéréovision. En effet, l'image est imprimée sur la diapositive - ou celle-ci est orientée - de manière que les franges 29 s'étendent perpendiculairement à la base, c'est-à-dire à l'axe reliant les centres optiques des caméras 12, 13. En d'autres termes, les franges 29 s'étendent perpendiculairement au plan contenant les axes optiques 19, 20 des caméras 12, 13, afin qu'en vision stéréoscopique les franges 29 s'étendent verticalement sur les images capturées par les caméras 12, 13.
Quoi qu'il en soit, la présence de franges 29 claires, bordées de bandes noires 32, permet de munir le motif de zones contrastées qui pourront être identifiées lors du traitement des images, comme nous l'expliquerons plus en détail ci-après.
Ce type de motif est avantageux en comparaison d'un mouchetis simple qui apparaîtrait peu contrasté, car les taches noires et blanches de la diapositive formeraient, par projection, des taches en niveaux de gris. Quant à un motif isotrope fait par exemple de seules franges, il est par nature non adapté à la stéréovision, car non localisable et donc impropre à la mise en correspondance.
Dans la deuxième variante, représentée dans son ensemble sur la figure 5 et en détail à échelle agrandie sur la figure 6, le motif primaire 28 est bi-orienté et comprend une série de franges claires 29 (blanches en l'occurrence) qui s'étendent à la fois horizontalement et verticalement pour former un quadrillage. Chaque frange claire 29 horizontale et verticale est bordée, de part et d'autre, par des bandes sombres 32 (noires en l'occurrence) discontinues qui, ensemble, forment un réseau de carrés isolés régulièrement espacés à bords noirs.
Comme cela est visible sur la figure 5, et plus en détail sur la figure 6, les tavelures 31 du motif secondaire 30 s'étendent par blocs dans les espaces entre franges 29, c'est-à-dire dans les carrés délimités par les bandes noires 32.
Cette deuxième variante du motif présente, par rapport à la première variante, l'avantage d'être bi-orientée, de sorte qu'il n'existe pas de direction privilégiée de projection du motif sur la surface 2, par rapport à l'orientation du scanner 4. En outre, la multiplication des franges 29 permet d'augmenter la densité de zones contrastées du motif, en l'espèce au niveau des franges 29.
Dans la troisième variante, représentée dans son ensemble sur la figure 7 et en détail à échelle agrandie sur la figure 8, le motif primaire 28 est bi-orienté et comprend une série de franges 29 sombres (noires en l'occurrence) qui s'étendent à la fois horizontalement et verticalement pour former un quadrillage. Chaque frange 29 horizontale et verticale est bordée, de part et d'autre, par des bandes claires 32 (blanches en l'occurrence) discontinues qui, ensemble, forment un réseau de carrés isolés régulièrement espacés à bords 32 blancs. En outre, les bords 32 de chaque carré sont doublés, vers l'intérieur, de bandes noires 33, de sorte que chaque carré comporte un double périmètre, composé d'un périmètre extérieur blanc et d'un périmètre intérieur noir. Outre qu'elle présente le même bénéfice que la deuxième variante d'être bi-orientée, cette troisième variante présente en outre l'avantage d'accroître encore la densité de zones contrastées du motif.
Dans le deuxième mode de réalisation, illustré dans son ensemble sur la figure 9 et en détail à échelle agrandie sur la figure 1 0, le motif primaire 28 est bi-orienté, et comprend une série de franges claires 29 (blanches en l'occurrence) qui s'étendent à la fois horizontalement et verticalement pour former un quadrillage. Les carrés délimités par les franges 29 présentent un fond sombre (noir en l'occurrence) sur lequel se détachent des pictogrammes 34 de couleur claire (blanc en l'occurrence).
Comme cela est visible sur la figure 9, on peut n'utiliser qu'un nombre limité de pictogrammes 34 différents. Toutefois, afin de rendre globalement anisotrope le motif secondaire 30, les pictogrammes 34 sont répartis de manière pseudo-aléatoire et de telle sorte que le voisinage de chaque pictogramme 34 (par exemple les pictogrammes 34 adjacents situés sur une même ligne, ou sur une même colonne) soit différent des voisinages de tous les autres pictogrammes 34. Ce motif présente l'avantage d'être plus contrasté que les motifs à tavelures, ce qui facilite les opérations de mise en correspondance (voir ci-après).
On décrit à présent le fonctionnement du système 1 de numérisation tridimensionnelle. Ce fonctionnement repose sur la succession des étapes suivantes, réalisées après une étape préalable de calibrage du système 1 1 de stéréovision :
Numérisation de la surface 2 ;
Rectification des images ;
Reconstruction de nuages de points ;
Recalage des nuages de points ;
- Construction du modèle tridimensionnel.
Calibrage
Le calibrage du système 1 1 de stéréovision est une étape préalable indispensable, sans laquelle il n'est pas possible de traiter convenablement les informations capturées par les caméras 12, 13.
Le calibrage d'une caméra unique (en vision monoculaire) se limite à estimer les paramètres intrinsèques de la caméra ainsi que sa position par rapport à un référentiel absolu. Le calibrage du système 1 1 de stéréovision est plus complexe, car il suppose d'effectuer un calibrage double, qui comprend non seulement l'estimation des paramètres intrinsèques de chaque caméra 12, 13, mais également la position et l'orientation relatives des caméras 12, 1 3 l'une par rapport à l'autre. En pratique, le calibrage consiste à apparier les deux caméras 12, 13 en implémentant dans l'UC du système 1 de numérisation un nombre donné de paramètres structurels et optiques du système 1 1 de stéréovision, notamment la position des centres optiques et l'angle entre les axes optiques 19, 20. Ce calibrage n'est pas nécessairement réalisé avant chaque utilisation du système 1 . Il est de préférence réalisé en usine, à l'aide d'une mire (par exemple un damier) dont la géométrie est connue avec exactitude.
On peut réaliser le calibrage du système 1 1 de stéréovision selon une procédure et des algorithmes connus. A cet effet, l'homme du métier pourra notamment se référer à V. Lemonde, « Stéréovision embarquée sur véhicule : de l'auto-Calibrage à la Détection d'obstacles » , Thèse, CNRS/I NSA, Novembre 2005, précité, ou à B. Bocquillon, « Contributions à l'autocalibrage des caméras : modélisations et solutions garanties par l'analyse d'intervalle » , Thèse, Université de Toulouse, Octobre 2008.
Numérisation
La numérisation est l'étape d'acquisition d'un ou plusieurs couples d'images stéréoscopiques de la surface 2. Plus précisément, la procédure de numérisation comprend la succession des opérations suivantes.
En premier lieu, le scanner 4 est positionné face à la surface 2 à numériser - en l'occurrence face au visage de la statue.
Une impulsion sur le déclencheur 7 provoque l'allumage des pointeurs 24. Le scanner 4 peut alors être positionné correctement, la concordance des points lumineux produits par les lasers sur la surface 2 signifiant que celle-ci est située dans le champ du projecteur 10 et des caméras 12, 13.
Une fois positionné le scanner 4, la procédure d'acquisition est alors initiée par un appui prolongé sur le déclencheur 7. La procédure se poursuit tant que le déclencheur 7 est maintenu enfoncé. Cette procédure comprend la succession des opérations suivantes :
a.1 ) Allumage du projecteur 10. Cet allumage provoque la projection du motif sur la surface 2.
a.2) Extinction des pointeurs (pour éviter l'aveuglement des caméras
12, 13) et acquisition par les caméras 12, 13 d'un premier couple d'images stéréoscopiques bidimensionnelles de la surface 2 ainsi éclairée. Ces images sont dites structurées car elles contiennent le motif structuré projeté sur la surface 2, suivant les deux points de vue différents des caméras 12, 13. Bien que le système 1 1 de stéréovision ne soit pas nécessairement orienté horizontalement, on dénomme par convention image gauche et l'on note G l'image structurée produite par la caméra gauche 12, et image droite - notée D - l'image structurée produite par la caméra droite 13. L'acquisition d'une image comprend en fait deux étapes. D'abord la prise de vue, lors de laquelle l'image s'imprime sur les cellules photosensibles du capteur 21 , puis la lecture de l'image par l'électronique embarquée de la caméra 12, 13, avec mise progressive de l'image, sous forme numérique, dans une mémoire tampon embarquée dans la caméra. Les capteurs 21 étant bloqués pendant leur lecture, les caméras sont momentanément inutilisables et par conséquent mises en attente,
a.3) Mémorisation du couple d'images stéréoscopiques structurées G- D : une fois la mise en mémoire tampon des images G et D achevée, celles-ci peuvent être transmises à l'UC du système 11 où elles sont mémorisées pour traitement (voir les phases de rectification et de reconstruction décrites ci-après). Un couple d'images stéréoscopique structurées G-D du visage 2 de la statue 1 est illustré sur la figure 1 3. Cette figure est fournie à titre illustratif, les images G-D n'étant pas nécessairement affichées sur l'interface graphique de l'ordinateur 8.
a.4) Extinction du projecteur 10. Cette extinction peut être commandée immédiatement après l'acquisition des images structurées G et D, par exemple pendant la lecture des images, ou pendant leur mémorisation par l'UC du système 11.
a.5) Acquisition par les caméras 12, 1 3 d'un second couple d'images stéréoscopiques bidimensionnelles de la surface 2 non éclairée (et non pointée). Cette opération est similaire à l'opération a.2), à la différence que les images ne sont pas structurées, le motif n'ayant pas été projeté sur la surface 2.
Les images de la surface 2 non éclairée sont effectuées en lumière naturelle (ambiante) , éventuellement agrémentée d'une lumière blanche produite par exemple par des diodes électroluminescentes (LED) équipant le scanner 4. Ainsi, selon un mode particulier de réalisation , le scanner 4 est équipé en façade de deux séries circulaires de LED entourant les optiques 18 des caméras 12, 13 et orientées suivant les axes 19, 20 de celles-ci . Ces images sont dites texturées, car en l'absence du motif projeté elles contiennent la texture naturelle de la surface 2. L'image gauche est notée G' ; l'image droite D'. Les images G' et D' sont lues par l'électronique interne des caméras 12, 13 et stockées en mémoire tampon. Pendant ce temps, les caméras 12, 13 sont mises en attente.
a.6) Mémorisation des images texturées G'-D'. Une fois achevée la mise en mémoire tampon des images G' et D' , celles-ci sont transmises à l'UC du système 1 1 où elles sont mémorisées pour traitement avec le couple d'images stéréoscopiques structurées G-
D. Un couple d'images stéréoscopique texturées G'-D' du visage 2 de la statue 1 est illustré sur la figure 14. (NB. pour respecter les prescriptions formelles en matière de dessins de brevets, les images représentées sur la figure 14 ont été filtrées et converties pour un affichage en deux couleurs, d'où leur aspect granuleux à ne pas confondre avec des tavelures).
Cette procédure d'acquisition fournit par conséquent un quadruplet d'images, ci-après dénommé « quad » , composé des deux paires d'images stéréoscopiques : une paire d'images structurées G-D et une paire d'images texturées G'-D'.
La procédure, c'est-à-dire la succession des opérations a.1 ) à a.6), peut être répétée autant que de besoin, afin d'obtenir une série de quads. On peut, pendant cette répétition, balayer la surface 2 pour la couvrir en totalité et en faire des prises de vue en rafale. Afin d'accroître la densité de la reconstruction (voir ci-après), il est en outre préférable d'effectuer plusieurs acquisitions depuis un même point de vue, ou depuis des points de vue proches afin d'obtenir un chevauchement des zones de la surface 2 couvertes par les caméras 12, 13.
Afin d'éviter la dérive du scanner 4 hors du champ du projecteur
10 pendant le balayage de la surface 2, les pointeurs 24 peuvent être activés en permanence - à l'exception des séquences de prises de vues, à défaut de quoi les images seraient inexploitables - de sorte à permettre à l'utilisateur de maintenir relativement constante la distance entre le scanner 4 et la surface 2. Compte tenu des vitesses d'obturation des caméras 1 2, 13 (de l'ordre de quelques millisecondes) , l'œil ne perçoit pas l'extinction des lasers 24 pendant la prise de vue, l'utilisateur ayant l'illusion d'un pointage continu.
Compte tenu de la précision des CCD et de la capacité mémoire du système 1 , des essais concluants ont pu être conduits avec les paramètres suivants :
Fréquence de l'acquisition (1 quad) : 4 Hz (soit 4 quads/s)
Vitesse d'obturation (de prise de vue) : environ 5 ms
Temps de lecture pour chaque image : 28 à 50 ms
Taille capteur CCD : 1024x768 pixels
- Niveaux de gris codés sur 8 bits (0-255)
Espace mémoire requis pour chaque image : 0, 7 Mo
Rectification
Les images brutes de chaque quad, obtenues par la procédure d'acquisition décrite ci-dessus, sont affectées de défauts, notamment une distorsion et une absence de parallélisme des droites épipolaires entre images d'une même paire stéréoscopique.
Aussi, avant de soumettre les images au traitement visant à permettre la reconstruction du modèle tridimensionnel de la surface 2, est-il préférable de leur appliquer un prétraitement comprenant notamment les opérations suivantes, programmées sous forme d'instructions dans l'UC de l'ordinateur 8 pour leur mise en œuvre :
Rectification de la distorsion (par exemple au moyen d'algorithmes connus), visant à redresser les lignes droites qui apparaissent courbées sur les images ;
Rectification épipolaire, qui permet, pour une paire d'images stéréoscopiques, de faire correspondre à tout point de l'image gauche une ligne horizontale de l'image droite, et réciproquement. Comme la rectification de la distorsion, la rectification épipolaire peut être conduite à l'aide d'algorithmes classiques. L'homme du métier pourra se référer aux documents mentionnés en introduction.
Reconstruction
L'étape de reconstruction vise à calculer, à partir de la paire d'images stéréoscopiques structurées G-D, un nuage de points tridimensionnels de la surface à numériser. La reconstruction comprend deux phases, programmées sous forme d'instructions dans l'UC de l'ordinateur 8 pour leur mise en œuvre :
La mise en correspondance (MEC)
La triangulation.
Mise en correspondance
La MEC consiste à apparier des points de la paire d'images structurées G-D.
La MEC est effectuée en deux temps : une MEC initiale, relativement grossière ; puis une MEC finale, plus fine, fondée sur les résultats de la MEC initiale.
La MEC initiale consiste à effectuer pour chaque pixel PG de coordonnées (i,y) de l'image G une corrélation locale consistant à :
Sélectionner dans l'image G un voisinage, appelé fenêtre de corrélation, centré sur le pixel PG ;
Comparer la fenêtre de corrélation du pixel PG avec une série de fenêtres de corrélation de même taille (dans les méthodes dites de Block matching) ou de taille différente centré sur un pixel PD de coordonnées (fc,Z) de l'image D, situé sur la ligne de l'image D contenant la droite épipolaire correspondant au pixel PG ; à chaque fenêtre de corrélation de l'image D correspond une mesure (ou score) de corrélation ;
Sélectionner dans cette série la fenêtre de corrélation qui maximise le score de corrélation - ou le minimise, selon que l'on utilise des critères de similarité ou de dissimilarité. Le pixel PD situé au centre de cette fenêtre est alors apparié au pixel PG, les pixels PG et PD étant dénommés homologues ou stéréo- correspondants.
On peut alors calculer une première estimation, dite initiale, de la disparité D(x) entre les vues 1 et 2 au pixel PG :
D(PG) = x(PD ) - X(PG )
Où x désigne une mesure parallèle aux horizontales des images et D (abscisse). La MEC initiale est relativement robuste. Elle l'est d'autant plus que le motif secondaire 30, pseudo-aléatoire, permet de minimiser les erreurs d'appariement.
Il serait possible, à partir des coordonnées x(PG) et x(PD) des pixels stéréo-correspondants, et grâce à un calcul de triangulation, de calculer la position d'un point de la surface 2 dont les projections sur les images G et D serait situées respectivement dans les pixels PG et PD. Cependant, la précision du positionnement de ce point, notamment en profondeur, serait insuffisante pour satisfaire aux objectifs que s'est fixé le demandeur, à savoir une tolérance en profondeur 0,1 mm.
En effet, disparité et précision en profondeur peuvent être reliées par l'équation suivante : ztravail
Az = AD
focale-base (1)
Où :
Δζ (exprimée en mm) est la tolérance en profondeur, mesurée le long de l'axe optique 17 du projecteur 10 ;
ztravaii (exprimée en mm) est approximativement la distance de travail normale du scanner 4, c'est-à-dire la distance moyenne entre le scanner 4 et la surface 2 à numériser, mesurée le long de l'axe optique 17 du projecteur 10 ;
focale (exprimée en équivalents pixels) est la distance focale des caméras 12, 13 ;
base (exprimée en mm) est la distance séparant les centres optiques des caméras 12, 13 ;
Δϋ (exprimée en pixels) la tolérance sur la disparité.
On suppose que le système 11 présente la configuration suivante : ztravaii comprise entre 350 et 500 mm (soit 425 mm en moyenne) focale 1 700 pixels
base 140 mm.
Compte tenu de cette configuration (qui peut bien entendu varier), et en partant de l'hypothèse que l'on souhaite atteindre une précision Az de 0,1 mm, la précision de la disparité doit être de 0,1 pixel. En d'autres termes, la disparité doit être précise au sous-pixel, et plus précisément au dixième de pixel. Une telle précision n'est pas atteignable au moyen d'une MEC initiale telle que décrite ci-dessus. Toutefois, comme nous allons le voir à présent, on peut se servir des résultats de la MEC initiale comme base de calcul pour la MEC fine, plus précise mais se fondant principalement sur les points du motif primaire 28.
La MEC finale comprend les opérations suivantes, programmées sous forme d'instructions dans l'UC de l'ordinateur 8 pour leur mise en œuvre :
b.1 ) Détection, dans l'image G , de pics locaux d'intensité lumineuse.
Il peut s'agir de sommets ou de creux, qui sont formellement équivalents. En pratique on détecte les sommets. Cette détection peut être conduite à l'aide d'algorithmes connus, tel l'algorithme de Biais et Rioux (cf. F. Biais et M. Rioux, « Real-time numerical peak detector » , in Signal processing , 1 986, vol .1 1 , n°2, pp.145- 155). Concrètement, à partir de l'image G , on établit une cartographie d'une dérivée en chaque pixel PG(i,j) de l'intensité lumineuse correspondant à ce pixel.
Dans la mesure où l'intensité lumineuse n'est pas une fonction continue mais discrète, la dérivée est calculée de manière discrète, par exemple égale à la pente du segment joignant deux points successifs dont les valeurs d'abscisses sont celles des pixels correspondants, et les ordonnées les valeurs des intensités lumineuses correspondantes (sur une échelle de 0 à 255 pour des niveaux de gris codés sur huit bits).
On décrète alors qu'un pixel correspond à un pic lorsqu'une fonction dérivée de l'intensité lumineuse change de signe entre ce pixel et le pixel voisin situé sur la même ligne PG(i + l,j). Plus précisément, et suivant l'algorithmique choisie, on peut décréter que le pixel correspond à un pic lorsque la fonction dérivée de l'intensité lumineuse change de signe en montant, c'est-à-dire qu'elle est négative au pixel /¾0<D et positive au pixel PG(i + l,j). b.2) Calcul des coordonnées des points de l'image G, appelés extremums (en pratique il s'agit de maximums) et notés ci-après EG, correspondant aux pics détectés. Ces points ne sont pas des pixels. Il s'agit de points dont les coordonnées dans l'image G sont des nombres réels. A cet effet, pour un sommet détecté dans le pixel PG(i,j) lors de l'opération b.1), on choisit une fenêtre contenant le pixel PG(i,j), par exemple la fenêtre comprenant PG(i,j) et les deux pixels l'encadrant sur la même ligne, soit PG(i - 1, j) et PG(i + 1, j).
On calcule alors une fonction continue d'interpolation de l'intensité lumineuse des pixels de cette fenêtre, puis on calcule l'abscisse xG de l'extremum EG, c'est-à-dire du point qui maximise cette fonction d'interpolation. La fonction d'interpolation étant continue, l'abscisse xG n'est pas entière : il s'agit d'un nombre réel.
b.3) Pour chaque extremum EG ainsi calculé, détermination, dans la deuxième D image du couple G-D, du stéréo-correspondant du pixel PG(i,j), c'est-à-dire du pixel PD(fe, apparié, lors de la MEC initiale, au pixel PG(i,j) de l'image G contenant l'extremum EG.
b.4) Sélection, dans l'image D, d'une fenêtre contenant le pixel PD( ) Cette fenêtre comprend par exemple PD( ) et les pixels l'encadrant sur la même ligne, soit PD(fc - 1,0 et PD(/c + 1,1).
b.5) Détection, dans cette fenêtre, d'un pic d'intensité lumineuse.
b.6) Si un tel pic existe, calcul d'une fonction continue d'interpolation de l'intensité lumineuse des pixels de cette fenêtre, et calcul de l'abscisse xD de l'extremum ED, c'est-à-dire du point qui maximise cette fonction d'interpolation. Comme pour l'extremum Ec, l'abscisse de l'extremum ED n'est pas entière puisqu'il s'agit d'un nombre réel.
b.7) Appariement des extremums EG et £D. On peut éventuellement calculer de la disparité :
D = xD - xG
Les abscisses xD et xG étant, nous l'avons vu, des nombres réels, la précision obtenue sur la disparité est bien inférieure à 0,1 pixel, conformément aux objectifs indiqués ci-dessus.
Les étapes b.1) à b.7) sont répétées pour l'ensemble des pics d'intensité lumineuse, la mise en correspondance produit un ensemble de doublets de points Ec et ED appariés pour le couple d'images G-D.
Nous l'avons vu, le contraste est plus faible dans le motif secondaire 30 que dans le motif primaire 28. Aussi la détection de pics est-elle moins fiable dans les zones des images G et D correspondant au motif secondaire 30, que dans les zones correspondant au motif primaire 28, dans lequel l'alternance des zones claires et sombres est plus nette.
Aussi, à des fins de précision - mais au détriment de la densité de reconstruction -, est-il préférable de limiter la MEC fine à une sélection de points d'intérêt localisés dans les franges 29 du motif primaire 28, qu'il est par conséquent nécessaire de localiser. Cette localisation peut être effectuée par balayage vertical de l'image (dans le cas de la première version de motif) ou par combinaison d'un balayage vertical et d'un balayage horizontal (dans le cas de la deuxième version et de la troisième version du motif) , et par estimation de la similarité des voisinages. Les franges 29 se caractérisent en effet par une isotropie directionnelle qui se traduit par une homogénéité des voisinages des points des franges 29 dans la direction suivant laquelle celle-ci s'étend.
Triangulation
Les extremums EG et ED étant homologues (ou stéréo- correspondants), ils sont les projections, respectivement dans l'image gauche G et dans l'image droite D, d'un même point de la surface 2 à numériser.
Par conséquent, les coordonnées de ce point peuvent être aisément calculées par triangulation à partir des positions de EG et ED.
Ainsi, à partir de l'ensemble des doublets d'extremums EG et ED, la triangulation permet d'obtenir un nuage de points qui forme une première ébauche, éparse, du modèle tridimensionnel de la surface à numériser.
Un tel nuage de points est représenté sur la figure 1 5. Ce nuage résulte de la succession des phases de MEC et de triangulation appliquées au couple d'images G-D de la figure 1 1 . On voit sur la figure 13 que le nuage est orienté, et comprend plusieurs groupes de points tous situés dans des plans parallèles verticaux. Cela illustre la technique de MEC décrite ci-dessus, dans laquelle la MEC fine a été limitée à une sélection de points d'intérêt situés dans les franges 29 du motif primaire 28, en raison de la précision de leur localisation dans les images G et D.
Recalaqe La reconstruction étant réitérée pour l'ensemble des couples d'images structurées G-D capturées lors des prises de vues multiples de la surface 2, on obtient une série de nuages de points épars sans lien entre eux, décalés dans l'espace, qu'il est donc nécessaire de recaler pour les fusionner avant d'entamer la procédure de maillage permettant de construire le modèle tridimensionnel de la surface 2. On a représenté sur la figure 14 deux nuages de points reconstruits à partir de deux quads successifs, avant recalage. Les opérations du recalage sont programmées sous forme d'instructions dans l'UC de l'ordinateur 8 pour leur mise en œuvre.
Du point de vue des caméras 12, 13 la surface 2 scannée a évolué dans l'espace, entre deux prises de vues successives, dans un repère lié au scanner 4, en pratique un repère cartésien dont le centre est confondu avec le foyer image de la caméra gauche 12, et dont les axes sont respectivement :
x : la droite parallèle aux horizontales du capteur 21 de la caméra gauche 12 passant par son foyer image, situé au centre du capteur 21 ;
y : la droite parallèle aux verticales du capteur 21 de la caméra gauche 12 et passant par son foyer image ;
z : l'axe optique 19 de la caméra gauche 12.
Le recalage vise à évaluer les déplacements du scanner 12 entre deux prises de vues successives, puis à appliquer aux nuages de points issus de ces prises de vues des transformations (appelées « poses » et constituée chacune de la combinaison d'une rotation et d'une translation) correspondant à ces déplacements, afin d'aligner les repères de chaque nuage de points.
On utilise à cet effet les données issues :
de la centrale inertielle 15 du scanner 4, laquelle, nous l'avons vu, fournit à tout instant le Nord magnétique et la verticale et se comporte par conséquent comme une boussole tridimensionnelle ; du couple d'images stéréoscopiques texturées G'-D'.
Calcul de la rotation
On se sert pour le calcul de la rotation des données issues centrale inertielle 15. Soit une paire de nuages de points successifs (Ni, Ni+1), ayant permis de reconstruire deux nuages de points respectifs. On souhaite calculer la rotation relative du scanner 4 entre N, et Ni+1, afin d'appliquer l'inverse de cette rotation au second nuage pour le recaler en rotation sur le premier.
Les données de la centrale inertielle 15 permettent de calculer : la matrice de rotation absolue, notée Rj, matrice de transformation du référentiel associé au scanner 4 vers le référentiel terrestre à l'itération i,
la matrice de rotation absolue, notée Ri+1, matrice de transformation du référentiel associé au scanner 4 vers le référentiel terrestre à l'itération i+ 1 .
La matrice de rotation relative entre le nuage Nj et le nuage Ni+1, notée Ri+1, est égale au produit de la matrice Rj par la matrice inverse de la matrice Ri+1 :
pi+i — D-l . D
Ki - Hi+1 Ki
On applique l'inverse de cette rotation aux points du nuage Ni+1 pour le recaler en rotation sur le nuage Nj.
Calcul de la translation
Le scanner 4 ayant été déplacé entre les deux quads successifs correspondant aux nuages Nj et Ni+1 (pour une fréquence d'acquisition de 4Hz, il existe en pratique un décalage temporel de 250 ms environ entre les quads), les paires successives d'images stéréoscopiques structurées Gj-Dj et Gi+1-Di+1, sur la base desquelles les nuages ont été reconstruits, sont inexploitables seules pour le calcul de la translation entre nuages.
En effet, le motif projeté s'est déplacé sur la surface 2 à numériser, de sorte qu'aucune corrélation fiable ne peut être effectuée directement entre les images gauches Gj et Gi+1 (respectivement entre les images droites Dj et Di+1) des couples d'images Gj-Dj et Gi+1-Di+1
Aussi, pour le calcul de la translation , exploite-t-on les paires d'images stéréoscopiques texturées G'j-D'j et G'i+1-D'i+1 des quads. On commence par sélectionner dans G'j un ensemble de points d'intérêt (en pratique entre 200 et 300), au moyen d'un algorithme de filtrage permettant de détecter des singularités.
On recherche ensuite dans G'i+1 les correspondants des points de G'j, au moyen d'un algorithme de suivi de points (par exemple l'algorithme de point tracking de Lucas-Kanade, cf. B. Lucas et T. Kanade, « An Itérative Image Registration Technique with an Application to Stereo Vision », in Proceedings of Imaging Understanding Workshop, pp. 121-130, 1981) basé sur des similarités de texture de la surface 2, acquises lors de l'acquisition des images texturées G'-D' (d'où l'utilité de ces images dans le cadre du recalage).
On dispose ainsi de deux ensembles de points :
PG' points d'intérêt de G', appariés dans G'i+1
Pj+i points de G'i+1 appariés aux points Pj G'
On réinjecte alors les points PG' dans l'image Gs structurée rectifiée, et on effectue pour chacun de ces points une MEC initiale (ou on réutilise les résultats de la MEC initiale déjà effectuée pour ces points, voir supra) avec l'image D, de la même paire stéréoscopique Gr Dj, puis on effectue une reconstruction pour obtenir un premier nuage de points de densité réduite, exprimé dans le repère associé au nuage N, et comprenant un nombre de points inférieur à celui-ci.
On effectue la même opération pour les points Pj+Ί dans la paire stéréoscopiques Gi+1-Di+1 de sorte à obtenir un second nuage de points de densité réduite, exprimé dans le repère associé au nuage Ni+1 et réputé être l'évolution dans l'espace du premier nuage de points de densité réduite.
Cette réinjection suppose soit d'avoir au préalable rectifié les images texturées G'j et G'i+1, soit de rectifier les points Pj G' et η+Ί, de manière à faire correspondre au moins localement les repères des images texturées avec ceux des images structurées dans lesquelles les points sont réinjectés.
On applique alors l'inverse de la rotation R-+1 au deuxième nuage de densité réduite pour le recaler en rotation sur le premier nuage de densité réduite.
On calcule ensuite, pour chaque point PG' du premier nuage de densité réduite, la distance le séparant (dans l'espace) de son correspondant Ρ,+Ί dans le deuxième nuage de densité réduite. On extrait la moyenne de ces distances, que l'on décrète égale à la translation subie par le nuage de points Ni+1 par rapport au premier Nj.
Chaque pose, qui comprend une rotation et une translation, est ainsi complète. On applique ensuite l'inverse de cette pose à l'ensemble des points du nuage Ni+1 pour le recaler en translation sur le nuage N,. On a représenté sur la figure 1 5 les nuages de la figure 14, recalés.
On réitère les opérations qui viennent d'être décrites à la succession de nuages de points, qui se trouvent ainsi recalés les uns par rapport aux autres.
Construction du modèle
La construction du modèle numérique de la surface 2 est réalisée à partir des nuages de points issus du recalage.
De nombreuses zones de l'objet ayant été capturées plusieurs fois (il existe des zones de recouvrement entre les vues successives), le nuage de points final , obtenu par agrégation des nuages de points issus du recalage, présente une densité élevée (cf. figure 16, qui montre une dizaine de nuages de points successifs recalés).
On peut alors effectuer à partir des points du nuage un maillage, permettant d'obtenir une deuxième ébauche de modèle constituée de triangles jointifs, puis un calcul d'interpolation permettant à partir de cette deuxième ébauche de reconstruire un véritable modèle surfacique fondé sur des fonctions mathématiques continues, compatible avec les systèmes de CAO.

Claims

REVENDICATIONS
1. Procédé de construction d'un modèle numérique tridimensionnel d'une surface (2) physique, comportant une phase d'acquisition et une phase de construction,
La phase d'acquisition comprenant les opérations suivantes :
Projection sur la surface (2) d'un motif lumineux structuré,
Acquisition et mémorisation d'un couple d'images (G-D) stéréoscopiques bidimensionnelles de la surface (2) ainsi éclairée, La phase de construction comprenant les opérations suivantes :
Appariement d'une pluralité de points sélectionnés dans le couple (G-D) d'images stéréoscopiques,
Calcul, pour l'ensemble des points appariés, de coordonnées des points correspondants de la surface (2) à numériser,
- Construction du modèle numérique à partir des coordonnées calculées,
Ce procédé étant caractérisé en ce que l'opération d'appariement comprend deux étapes successives, à savoir :
Une mise en correspondance initiale consistant à apparier des pixels (PG, PD) ayant des voisinages similaires dans les deux images
(G,D) du couple ;
Une mise en correspondance finale comprenant les opérations suivantes :
• Détecter, dans une première image du couple, des pics locaux d'intensité lumineuse,
• Calculer les coordonnées des points (EG), appelés extremums, de la première image (G) correspondant aux pics,
• Pour chaque extremum (EG) de la première image (G), sélectionner, dans la deuxième image (D) du couple (G-D), une fenêtre contenant le pixel (PD) apparié au pixel (PG) de la première image (D) contenant cet extremum (EG),
• Détecter dans cette fenêtre un pic d'intensité lumineuse,
• Si un tel pic existe, calculer les coordonnées de l'extremum (ED) correspondant dans la deuxième image (D) ;
· Apparier l'extremum (ED) de la deuxième image (D) et l'extremum (EG) de la première image (G).
2. Procédé selon la revendication 1, dans lequel la détermination de chaque extremum (EG,ED) comprend :
Le calcul d'une fonction continue d'interpolation de l'intensité lumineuse des pixels de la fenêtre ;
- L'identification du point qui maximise cette fonction d'interpolation.
3. Produit programme d'ordinateur comprenant des instructions pour la mise en œuvre des opérations de la phase de construction du procédé selon la revendication 1 ou 2.
4. Système (1) de numérisation tridimensionnelle comprenant un dispositif (10) de projection d'un motif lumineux, un système (11) de stéréovision et une unité centrale de traitement sur laquelle est implémenté le programme selon la revendication 3.
PCT/FR2010/000611 2009-09-15 2010-09-08 Procédé de numérisation tridimensionnelle comprenant une double mise en correspondance WO2011033187A1 (fr)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR09/04415 2009-09-15
FR0904415A FR2950140B1 (fr) 2009-09-15 2009-09-15 Procede de numerisation tridimensionnelle comprenant une double mise en correspondance

Publications (1)

Publication Number Publication Date
WO2011033187A1 true WO2011033187A1 (fr) 2011-03-24

Family

ID=42106001

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/FR2010/000611 WO2011033187A1 (fr) 2009-09-15 2010-09-08 Procédé de numérisation tridimensionnelle comprenant une double mise en correspondance

Country Status (2)

Country Link
FR (1) FR2950140B1 (fr)
WO (1) WO2011033187A1 (fr)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112489190A (zh) * 2020-11-18 2021-03-12 新拓三维技术(深圳)有限公司 一种全自动室内扫描方法、系统及计算机可读存储介质

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
USD667010S1 (en) * 2011-09-06 2012-09-11 Firth David G Handheld scanner
US20140267701A1 (en) * 2013-03-12 2014-09-18 Ziv Aviv Apparatus and techniques for determining object depth in images

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5003166A (en) 1989-11-07 1991-03-26 Massachusetts Institute Of Technology Multidimensional range mapping with pattern projection and cross correlation
WO1998003021A1 (fr) * 1996-06-28 1998-01-22 Sri International Petit module de vision pour l'analyse stereo et de mouvement en temps reel
EP1065628A1 (fr) * 1999-06-21 2001-01-03 Institut für Neurosimulation und Bildtechnologien GmbH Mesure 3-D optique avec plusieurs points d'approximation
FR2842591A1 (fr) 2002-07-16 2004-01-23 Ecole Nale Sup Artes Metiers Dispositif pour mesurer des variations dans le relief d'un objet
WO2006094409A1 (fr) 2005-03-11 2006-09-14 Creaform Inc. Systeme autoreference et appareil de lecture optique 3d
WO2007043036A1 (fr) 2005-10-11 2007-04-19 Prime Sense Ltd. Methode et systeme pour la reconstruction d'un objet
WO2007095364A2 (fr) * 2006-02-13 2007-08-23 3M Innovative Properties Company Correlation avant et inverse associee
US20080031513A1 (en) * 2000-07-14 2008-02-07 Massachusetts Institute Of Technology Method and system for high resolution, ultra fast 3-D imaging
US20090059241A1 (en) 2007-08-28 2009-03-05 Artec Ventures System and Method for Three-Dimensional Measurement of The Shape of Material Objects
FR2921719A1 (fr) 2007-09-28 2009-04-03 Noomeo Soc Par Actions Simplif Procede de construction d'une image de synthese d'une surfac e tridimensionnelle d'un objet physique
JP2009146296A (ja) * 2007-12-17 2009-07-02 Konica Minolta Holdings Inc 画像対応点探索装置ならびにそれを用いる測距装置および画像動き検出装置

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5003166A (en) 1989-11-07 1991-03-26 Massachusetts Institute Of Technology Multidimensional range mapping with pattern projection and cross correlation
WO1998003021A1 (fr) * 1996-06-28 1998-01-22 Sri International Petit module de vision pour l'analyse stereo et de mouvement en temps reel
EP1065628A1 (fr) * 1999-06-21 2001-01-03 Institut für Neurosimulation und Bildtechnologien GmbH Mesure 3-D optique avec plusieurs points d'approximation
US20080031513A1 (en) * 2000-07-14 2008-02-07 Massachusetts Institute Of Technology Method and system for high resolution, ultra fast 3-D imaging
FR2842591A1 (fr) 2002-07-16 2004-01-23 Ecole Nale Sup Artes Metiers Dispositif pour mesurer des variations dans le relief d'un objet
WO2006094409A1 (fr) 2005-03-11 2006-09-14 Creaform Inc. Systeme autoreference et appareil de lecture optique 3d
WO2007043036A1 (fr) 2005-10-11 2007-04-19 Prime Sense Ltd. Methode et systeme pour la reconstruction d'un objet
WO2007095364A2 (fr) * 2006-02-13 2007-08-23 3M Innovative Properties Company Correlation avant et inverse associee
US20090059241A1 (en) 2007-08-28 2009-03-05 Artec Ventures System and Method for Three-Dimensional Measurement of The Shape of Material Objects
FR2921719A1 (fr) 2007-09-28 2009-04-03 Noomeo Soc Par Actions Simplif Procede de construction d'une image de synthese d'une surfac e tridimensionnelle d'un objet physique
JP2009146296A (ja) * 2007-12-17 2009-07-02 Konica Minolta Holdings Inc 画像対応点探索装置ならびにそれを用いる測距装置および画像動き検出装置

Non-Patent Citations (10)

* Cited by examiner, † Cited by third party
Title
B. BOCQUILLON: "Contributions à l'autocalibrage des caméras : modélisations et solutions garanties par l'analyse d'intervalle", THÈSE, UNIVERSITÉ DE TOULOUSE, October 2008 (2008-10-01)
B. LUCAS; T. KANADE: "An Iterative Image Registration Technique with an Application to Stereo Vision", PROCEEDINGS OF IMAGING UNDERSTANDING WORKSHOP, 1981, pages 121 - 130
F. BIAIS; M. RIOUX: "Real-time numerical peak detector", SIGNAL PROCESSING, vol. 11, no. 2, 1986, pages 145 - 155
M. BROWN ET AL.: "Advances in Computational Stereo", IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, vol. 25, no. 8, August 2003 (2003-08-01), pages 993 - 1008
P. LASSERRE; P. GRANDJEAN: "Stereo improvements", IEEE INTERNATIONAL CONFERENCE ON ADVANCED ROBOTICS, 1995
S. CHAMBON: "Mise en correspondance stéréoscopique d'images couleur en présence d'occultations", THÈSE UNIVERSITÉ PAUL SABATIER, December 2005 (2005-12-01)
T. LIM: "Utilisation de la méthode du block matching pour la reconstruction de la profondeur d'images stéréo", RAPPORT DE STAGE DE MAGISTÈRE, August 2006 (2006-08-01)
V. LEMONDE: "Stéréovision embarquée sur véhicule : de l'auto-Calibrage à la Détection d'obstacles", THÈSE CNRS/INSA, November 2005 (2005-11-01)
V. LEMONDE: "Stéréovision embarquée sur véhicule : de l'auto-Calibrage à la Détection d'obstacles", THÈSE, CNRS/INSA, November 2005 (2005-11-01)
W. SOUID-MILED: "Mise en correspondance stéréoscopique par approches variationnelles convexes", THÈSE UNIVERSITÉ PARIS-EST/INRIA, December 2007 (2007-12-01)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112489190A (zh) * 2020-11-18 2021-03-12 新拓三维技术(深圳)有限公司 一种全自动室内扫描方法、系统及计算机可读存储介质
CN112489190B (zh) * 2020-11-18 2024-05-31 新拓三维技术(深圳)有限公司 一种全自动室内扫描方法、系统及计算机可读存储介质

Also Published As

Publication number Publication date
FR2950140A1 (fr) 2011-03-18
FR2950140B1 (fr) 2011-10-21

Similar Documents

Publication Publication Date Title
Liu et al. 3D imaging, analysis and applications
US9392262B2 (en) System and method for 3D reconstruction using multiple multi-channel cameras
CN106500628B (zh) 一种含有多个不同波长激光器的三维扫描方法及扫描仪
US20190156557A1 (en) 3d geometric modeling and 3d video content creation
US8090194B2 (en) 3D geometric modeling and motion capture using both single and dual imaging
Swirski et al. 3Deflicker from motion
CN106500627B (zh) 含有多个不同波长激光器的三维扫描方法及扫描仪
CN114766003A (zh) 用于利用偏振增强传感器系统和成像系统的系统和方法
EP3144881B1 (fr) Procede de mosaiquage 3d panoramique d&#39;une scene
EP3382645B1 (fr) Procédé de génération d&#39;un modèle 3d à partir de structure from motion et stéréo photométrique d&#39;images 2d parcimonieuses
JP5633058B1 (ja) ３次元計測装置及び３次元計測方法
WO2014153022A1 (fr) Scanneur d&#39;objet spéculaire pour mesurer des propriétés de facteur de réflexion d&#39;objets
CN104408762A (zh) 利用单目和二维平台获取物体图像信息及三维模型的方法
FR2950138A1 (fr) Procede de numerisation tridimensionnelle a recalage rapide
US11398085B2 (en) Systems, methods, and media for directly recovering planar surfaces in a scene using structured light
WO2011033187A1 (fr) Procédé de numérisation tridimensionnelle comprenant une double mise en correspondance
WO2011033186A1 (fr) Procédé de numérisation tridimensionnelle d&#39;une surface comprenant la projection d&#39;un motif combiné
Balzer et al. Cavlectometry: Towards holistic reconstruction of large mirror objects
Taylor Implementing high resolution structured light by exploiting projector blur
FR2672119A1 (fr) Systeme de mesure de surfaces a trois dimensions devant etre representees mathematiquement ainsi qu&#39;un procede de mesure et un gabarit d&#39;etalonnage du systeme de mesure.
Garbat et al. Structured light camera calibration
Yeh et al. Shape-from-shifting: Uncalibrated photometric stereo with a mobile device
FR2950139A1 (fr) Procede de numerisation tridimensionnelle comprenant l&#39;acquisition d&#39;un quadruplet d&#39;images stereoscopique
US11460931B2 (en) Recovering perspective distortions
Xu et al. High-resolution modeling of moving and deforming objects using sparse geometric and dense photometric measurements

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10762717

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 10762717

Country of ref document: EP

Kind code of ref document: A1