WO2019224437A1 - Method for calibrating a camera of a system for determining three-dimensional images and calibration test chart - Google Patents

Method for calibrating a camera of a system for determining three-dimensional images and calibration test chart Download PDF

Info

Publication number
WO2019224437A1
WO2019224437A1 PCT/FR2019/050838 FR2019050838W WO2019224437A1 WO 2019224437 A1 WO2019224437 A1 WO 2019224437A1 FR 2019050838 W FR2019050838 W FR 2019050838W WO 2019224437 A1 WO2019224437 A1 WO 2019224437A1
Authority
WO
WIPO (PCT)
Prior art keywords
camera
calibration
calibration pattern
light beam
wires
Prior art date
Application number
PCT/FR2019/050838
Other languages
French (fr)
Inventor
Romain Roux
François DUPLAIX
Original Assignee
Vit
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Vit filed Critical Vit
Publication of WO2019224437A1 publication Critical patent/WO2019224437A1/en

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Definitions

  • the present invention generally relates to a method for calibrating a camera of a three-dimensional image determination system, in particular for an optical inspection installation intended for the on-line analysis of objects, in particular electronic circuits. .
  • the invention further relates to a calibration chart for the implementation of such a method. Presentation of the prior art
  • An optical inspection facility is generally used to check the condition of an object, such as an electronic circuit, before it is placed on the market.
  • the optical inspection facility can provide a 3D image of the object that is automatically scanned by computer and / or by an operator for potential defects.
  • a 3D image of an object corresponds to a cloud of points, for example several million points, of at least a portion of the outer surface of the object in which each point of the surface is located by WO 2019/22443 j - sight to son PCT / FR2019 / 050838
  • a method for determining a 3D image comprises the projection of a light beam, for example by a laser source, as thin as possible on the object to be observed, the acquisition of images by at least one camera of the object illuminated by the beam and the determination of the 3D image from the acquired images.
  • a geometric calibration operation of each camera of the 3D image determination system must be performed beforehand.
  • the calibration operation corresponds to the determination, for each camera, of the relationship between the spatial coordinates of a point of space with the associated point in the image taken by the camera.
  • a calibration operation generally comprises the use of a target tool, also called calibration pattern, for example a checkerboard for which the spacing between the tiles is known accurately or a volume tool whose external surface is known with precision.
  • the focusing volume of each camera of the system is generally concentrated around the defined mean plane by the light beam, the image plane of the camera being substantially parallel to this mean plane. This may make the calibration operation complex as it may be difficult to place the calibration pattern as close to this mean plane while allowing coverage of the entire field of view of the camera. In addition, when more than one camera is present, it may be difficult for the calibration pattern, illuminated by the light beam, to be visible simultaneously by all cameras. Finally, the accuracy of the geometric calibration process may depend on the accuracy of the calibration pattern which may vary depending on the method of manufacturing the calibration pattern or which may vary with the wear of the calibration pattern. . WO 2019/22443 j - sight to son PCT / FR2019 / 050838
  • An object of an embodiment is to overcome at least in part the disadvantages of the calibration methods of 3D image determination systems comprising the projection of a fine light beam.
  • Another object of an embodiment is to use a calibration pattern that is visible simultaneously by more than one camera.
  • Another object of an embodiment is that the calibration pattern permits the geometric calibration of the entire field of view of the camera.
  • Another object of an embodiment is that the calibration pattern can be performed in a simple manner with high accuracy.
  • Another object of an embodiment is that the calibration pattern does not deform substantially over time.
  • an embodiment provides a method of geometrically calibrating a first camera of a three-dimensional image determination system comprising projecting by a projection device a light beam onto a calibration pattern comprising wires at least partially reflecting the light beam and fixed to a support, the support defining a through opening, each wire comprising a portion stretched vis-à-vis the through opening.
  • the method comprises the following steps:
  • the method further comprises detecting, on each acquired two-dimensional image, light spots corresponding to the intersection of the light beam and stretched portions of the son.
  • the method further comprises assigning, for each light spot, the light spot to one of the son.
  • the method further comprises acquiring two-dimensional images of the calibration pattern by a second camera simultaneously with two-dimensional image acquisitions by the first camera.
  • the thickness of the beam in at least one direction is less than 200 ⁇ m.
  • An embodiment also provides a calibration pattern for the geometric calibration of a camera of a three-dimensional image determination system comprising a light beam projection device, the calibration pattern comprising reflective wires. at least partially the light beam and fixed to a support, the support defining a through opening, each wire comprising a first portion stretched vis-à-vis the through opening.
  • the first stretched portions of the wires are parallel.
  • the first stretched portions of the wires are coplanar.
  • the gaps between the first stretched portions of the son of adjacent pairs of wires are identical for the majority of the pairs of adjacent wires.
  • each wire comprises a second stretched portion not parallel to the first stretched portion of said wire.
  • the test pattern comprises a device for modifying the inclination between the first stretched portion and the second tensioned portion for each wire.
  • Figures 1 and 2 show, partially and schematically, an embodiment of an optical circuit inspection facility comprising a electronic 3D image determination system
  • Figures 3 and 4 are perspective views, partial and schematic, illustrating the operating principle of a 3D image determination system implementing the projection of a fine light beam;
  • FIG. 5 is a perspective view, partial and schematic, illustrating a disadvantage of a known calibration operation of a 3D image determination system implementing the projection of a fine light beam;
  • FIG. 6 is a front view, partial and schematic, of an embodiment of a calibration pattern for the calibration of a 3D image determination system implementing the projection of a beam of fine light;
  • FIG. 7 is a block diagram of an embodiment of a method for calibrating a 3D image determination system implementing the projection of a fine light beam onto the calibration pattern shown. in Figure 6;
  • Fig. 8 is a partial schematic perspective view illustrating a step of the calibration method corresponding to the block diagram of Fig. 7;
  • FIG. 9 is a partial schematic perspective view of another embodiment of a calibration pattern for the calibration of a 3D image determination system using the projection of a beam. of fine light.
  • Figures 1 and 2 are respectively a front view and a top view, very schematic, of an embodiment of an inspection installation 10 of a Board electronic circuit.
  • the term "electronic circuit” is understood to mean either a set of electronic components interconnected via a support, the only support used to make this interconnection without the electronic components or the support without the electronic components but provided with means for fixing the electronic components.
  • the support is a printed circuit and the electronic components are fixed to the printed circuit by solder joints obtained by heating soldering paste blocks.
  • the term "electronic circuit” means the printed circuit alone (without electronic components or soldering paste blocks), the printed circuit provided with solder paste blocks and without electronic components, the printed circuit fitted with the dough blocks soldering and electronic components before the operation WO 2019/22443 j - sight to son PCT / FR2019 / 050838
  • the electronic circuit board is placed on a conveyor 12, for example a flat conveyor.
  • the conveyor 12 is able to move the board circuit parallel to the direction (OY).
  • the conveyor 12 may comprise a set of belts and rollers driven by a rotating electric motor 14.
  • the conveyor 12 may comprise a linear motor moving a carriage on which rests the Board electronic circuit.
  • the board circuit corresponds, for example, to a rectangular board having a length and a width ranging from 50 mm to 550 mm.
  • the optical inspection facility 10 includes a system 15 for determining a 3D image of a scene, corresponding in the present embodiment to the Board electronic circuit.
  • the system 15 may comprise a device P for projecting a fine light beam, comprising for example a laser source or comprising a projector adapted to project an image containing only one line.
  • the projection device P is connected to a computer system 16 for controlling, acquiring and processing images, also called processing module 16 thereafter.
  • the system 16 may comprise a computer or a microcontroller comprising a processor and a non-volatile memory in which instruction sequences are stored whose execution by the processor enables the system 16 to perform the desired functions.
  • the system 16 may correspond to a dedicated electronic circuit.
  • the electric motor 14 is further controlled by the system 16.
  • the system 15 further comprises an image acquisition device C comprising at least one camera, for example a digital camera.
  • an image acquisition device C comprising at least one camera, for example a digital camera.
  • a digital camera By way of example, two cameras C are shown in FIGS. 1 and 2.
  • Each camera C is connected to the processing module 16.
  • the camera C and the projection device P can WO 2019/22443 j - sight to son PCT / FR2019 / 050838
  • a two-dimensional image, or 2D image is a digital image acquired by one of the cameras C and corresponding to a matrix of pixels.
  • projection-acquisition block 18 is called the assembly comprising the projection device P and the image acquisition device C.
  • the installation 10 comprises a support device 20 , shown diagrammatically only in FIG. 1, of the projection-acquisition unit 18, adapted to simultaneously move the projection device P and the cameras C, in particular in translation in the direction (OX).
  • the support device 20 can be controlled by the processing module 16.
  • control means of the conveyor 12, the support device 20, the camera C and the projection device P of the optical inspection installation 10 described above are within the abilities of those skilled in the art and are not not described in more detail.
  • the direction (OY) is parallel to a preferred direction of the image acquisition device C and / or the projection device P.
  • the support device 18 can then be adapted to move the device of P projection and C cameras in translation in the direction (OY).
  • image acquisition device C and the projection device P can be fixed with respect to the frame of the optical inspection installation 10, the relative displacement of the Board circuit with respect to the image acquisition device C and the device projection P being realized by means of the conveyor 12.
  • the directions (OX), (OY) and (OZ) constitute a fixed three-dimensional space mark RREE (OX, OY, OZ) with respect to the frame, not shown, of the optical inspection installation 10.
  • the sectional plane of Figure 2 is parallel to the plane (OX, OY).
  • the system 15 is adapted to determine a 3D image of the Board circuit.
  • a 3D image of the board circuit corresponds to a cloud of points, for example several million points, of at least a portion of the outer surface of the board circuit in which each point of the surface is marked by its coordinates (x, y, z) determined with respect to the reference BREF (OX / OY OZ).
  • the plane (OX, OY) is called reference plane PIREF ⁇ Ba coordinate z of a point on the surface of the object then corresponds to the height of the point measured with respect to the reference plane PIREF
  • the reference plane PIREF corresponds to the plane containing the upper face or the lower face of the printed circuit.
  • the plane PIREF can be horizontal.
  • the direction (OZ) is perpendicular to the plane (OX, OY), that is to say perpendicular to the upper or lower faces of the printed circuit.
  • Figure 3 illustrates the operation of the system for determining a 3D image.
  • the projection device P is configured to project a thin light beam which substantially follows a light surface S.
  • the light beam corresponds to a substantially cylindrical laser beam and the projection device P comprises a mechanism configured to move the light beam. laser beam and make it scan the surface S.
  • the projection device P is configured to emit the light beam directly on the surface S. This is by WO 2019/22443 j 1 - thread pattern PCT / FR2019 / 050838
  • the luminous surface S is defined as the area defined by the light beam projected by the projection device P independently of the fact that the light beam extends directly from the projection device P along the surface S or that the light beam scans this surface S.
  • the thickness of the light beam in the direction (OX) is less than 200 ym.
  • the luminous surface S is as flat as possible, for example in a plane parallel to the plane (OYZ), with a scanning of the scene Sc by the luminous surface S in the direction (OY).
  • the light beam is reflected by the scene Sc and the camera C acquires an image I of the scene Sc.
  • the intersection between the light beam delimiting the light surface S and the scene Sc corresponds substantially to a light line L which appears in the form of a line L 'on image I acquired by the camera C.
  • a relative displacement is performed between the scene Sc and the projection-acquisition block 18, for example according to the direction (OX) and images are acquired by the camera C, for example at regular intervals.
  • the relative displacement between the scene Sc and the projection-acquisition block 18 can be temporarily interrupted for the acquisition of each image I by the camera C or the acquisition of each image I can be carried out on the fly during the relative displacement between the scene Sc and the block 18 projection-acquisition.
  • Figure 4 illustrates the principle of determining a 3D image.
  • the transformation function which associates with each coordinate point (u, v) of the image I acquired by the camera C in the frame of the image the point Q the corresponding coordinate space (x, y, z) of the scene Sc in the reference frame RREF ⁇
  • This transformation function is determined by a method of geometric calibration of each camera C in which operating parameters of each camera C are determined.
  • a first example of a geometric calibration method may comprise the estimation, for each camera C, of parameter values of an equivalent mathematical model of the camera C which corresponds to each point Q of coordinates ( x, y, z) of the scene Sc a point q of coordinates (u, v) corresponding in the plane of the photodetectors of the camera C.
  • the mathematical model is used during the normal operation of the optical inspection installation 10.
  • the parameters may include intrinsic parameters such as the main point, the focal length of the camera C along different axes, the parameter (in English "skew factor") representative of the non-orthogonality of the axes of the camera C and extrinsic parameters such as the translation matrix and the rotation matrix of the geometric transformation between a coor system reference data fixed with respect to the projection-acquisition block 18 and a coordinate system linked to the camera C.
  • the mathematical model can furthermore take into account the optical distortion of the camera C.
  • Such a calibration method may require modeling the luminous surface S, for example by a plane equation.
  • a second example of a geometric calibration method may include determining, for each camera C, a correspondence table that matches a set of points of the scene of the points of the image acquired by the camera C.
  • the calibration WO 2019/22443 j - sight to son PCT / FR2019 / 050838
  • each camera may require the use of a calibration rod of known shape on which is projected the light beam emitted by the projection device P.
  • a pattern generally comprises a support on one side of which are formed marks of shapes and dimensions suitable for the calibration process.
  • a calibration pattern can be used that includes a two-color checkerboard alternating white boxes and boxes of another color.
  • Figure 5 illustrates a disadvantage of a known geometric calibration method.
  • the focusing volume of the camera C or the cameras C that is to say the region of the space containing the points which appear clearly on the image I acquired by the camera C, is generally concentrated around the luminous surface S followed by the light beam, the image plane of the camera C being substantially parallel to this surface S.
  • This can make the calibration process complex.
  • the possible displacements of the calibration target M with respect to the camera C are then limited.
  • most methods of determining camera parameters require the acquisition of images of the calibration pattern M under different orientations of the calibration pattern M with respect to the camera C.
  • the system 15 comprises more than one camera, it may be difficult to place the calibration pattern M so that it is visible simultaneously by all the cameras C.
  • FIG. schematically the calibration pattern M which is visible by the camera Cl making WO 2019/22443 j - sight to son PCT / FR2019 / 050838
  • Figure 6 shows an embodiment of a calibration pattern 30 according to the invention.
  • the calibration target 30 comprises a support 32 and wires 34.
  • Each wire 34 is fixed to the support 32 at its ends by fixing elements 36, 37.
  • the support 32 comprises a central through opening 38 so that the wires 34 are visible substantially regardless of the orientation of the calibration target 30.
  • the support 32 has for example the form of a frame.
  • the son 34 are preferably reflective to the radiation of the light beam projected by the projection device P.
  • Each wire 34 is stretched on the support 32 so as to have a stretched portion 39 vis-à-vis the opening 38.
  • the Calibration pattern 30 may comprise from 10 to 100 threads.
  • the diameter of each wire 34 may be between 100 ⁇ m and 500 ⁇ m.
  • the son 34 are substantially parallel.
  • the son 34 may be plastic, for example nylon.
  • the distance between two adjacent wires 34 and D2 is the distance, or not, between the lengths of the tensioned portions 39 of the wires 34 vis-à-vis the opening 38.
  • the pitch DI is constant regardless of the pair of adjacent wires 34 considered.
  • the pitch DI between 2 mm and 5 mm.
  • the dimension D2 is between 5 cm and 50 cm.
  • the stretched portions 39 of the son 34 are substantially parallel.
  • the stretched portions 39 of the son 34 are substantially coplanar.
  • Fig. 7 is a block diagram of one embodiment of a method of geometric calibration of the system.
  • the method comprises successive steps 40, 42, 44, 46.
  • the calibration process may correspond to an explicit calibration or to an implicit calibration.
  • step 40 image acquisitions are performed by each camera by moving, between two successive acquisitions of images, the projection-acquisition block 18 relative to the calibration target 30 in the direction (OX).
  • FIG. 8 is a perspective view, partial and schematic, illustrating the acquisition of an image in step 40.
  • the calibration target 30 is illuminated by the projection device P.
  • step 42 reference points are detected on each image acquired from the spots 50.
  • This can be implemented by any type of pattern recognition methods.
  • the fact that the spots 50 are of small dimensions, isolated from each other, and of known overall shape makes it possible to simplify the process for recognizing the reference points used.
  • the reference point associated with a spot 50 may correspond to the center of the circle in which the spot 50 is inscribed.
  • the son 34 are inclined relative to the plane (OX, OY) by an angle of between 10 ° and 75 °.
  • the angle of inclination of the wires 34 is such that during the relative displacement between the calibration target 30 and the projection-acquisition block 18, the determined reference points are WO 2019/22443 j - sight to son PCT / FR2019 / 050838
  • the density of the reference points detected depends in particular on the number of wires 34, the pitch DI between the wires 34, and the advancement step of the relative displacement between the test pattern.
  • a mapping for each acquired image is performed between each reference point and the corresponding 3D physical point of the wire 34.
  • the calibration target 30 may be configured to facilitate this mapping step. , in particular to determine which wire is associated with the reference point determined on the acquired image.
  • the calibration target 30 may comprise an asymmetry to facilitate the identification of the son 34 on the acquired image.
  • the pitch between two adjacent wires is constant except for a pair of wires that are further apart or less spaced apart. Therefore, by counting the spots 50 on the image acquired from the pair of spots for which the difference is different, the wires 34 and the spots 50 can be easily matched.
  • the son 34 may have the same diameter except at least one son 34 which is of different diameter.
  • the Calibration pattern 30 may comprise markers to facilitate the matching between the reference point and the 3D point of the thread 34.
  • the stretched portion 39 of each thread 34 may comprise successive sections of different colors, which allows to determine directly to which section of the thread belongs the 3D point corresponding to the reference point determined on the acquired image.
  • step 46 the determination of the parameters of each camera is performed from the reference points detected and identified in steps 42 and 44 according to known methods. It can be an explicit calibration or an implicit calibration.
  • the threads 34 can be easily manufactured with a precise diameter and the placement of the threads 34 on the calibration pattern 30 can be easily achieved with precision. This advantageously makes it possible to obtain the reference points on the images acquired with precision. The calibration process can thus be performed accurately. In addition, the wear of the calibration pattern 30 is low.
  • the 3D image determination system 15 comprises at least a first camera and a second camera
  • the acquisition of images of the calibration pattern by the first and second cameras can be performed simultaneously insofar as the son 34 are visible by the two cameras.
  • the processing module 16 associates with each reference point of the first image of the calibration target determined by the first camera the corresponding reference point of the second image of the calibration target determined by the second camera. This facilitates the determination of the transformation which associates at each point of the first camera a point of the second camera.
  • Fig. 9 is a partial schematic perspective view of another embodiment of a calibration pattern 60 for calibrating the 3D image judging system 15 shown in Figs. 1 and 2.
  • the calibration pattern 60 comprises all the elements of the calibration pattern 30 shown in FIG. 6 and further comprises a bridge 62 connected to the support 32 and on which the threads 34 rest so that each thread 34 comprises a first tensioned portion 64 between the end fixed to the support 32 by the fixing element 36 and the bridge 62 and a second stretched portion 66 between the end fixed to the support 32 by the fixing element 37 and the bridge 62.
  • first stretched portions 64 are substantially parallel and the second stretched portions 66 are substantially parallel.
  • the ends of the stretched portions 64, 66 of the son in contact with the support 32 are substantially coplanar and define a basic plane.
  • D 3 is the orthogonal projection on the base plane of the length of the stretched portion 64 of the wire 34
  • D 4 is the orthogonal projection on the base plane of the length of the stretched portion 66 of the wire 34.
  • the distances D3 are substantially identical for all the son 34 and the distances D4 are substantially identical for all the son 34.
  • D5 is the distance, measured orthogonally with respect to the base plane, of the length of the stretched portion 64 or 66 of the thread 34.
  • the distances D5 are substantially identical for all the threads 34.
  • the inclination angles of the stretched portions 64 of the threads 34 relative to the base plane are substantially identical and defined by the distances D3 and D5.
  • the inclination angles of the stretched portions 64 of the son 34 relative to the base plane are substantially identical and defined by the distances D4 and D5.
  • the inclination angles of the tensioned portions 64 of the threads 34 relative to the base plane are equal to the inclination angles of the stretched portions 66 of the threads 34 with respect to the base plane when the distances D3 and D4 are equal and the angles d
  • the inclination of the tensioned portions 64 of the wires 34 relative to the base plane are different from the inclination angles of the stretched portions 66 of the wires 34 relative to the base plane when the distances D3 and D4 are not equal.
  • the bridge 62 is shown schematically with a negligible thickness so that the tensioned portions 64 and 66 of each wire 34 can be considered substantially contiguous.
  • the thickness of the bridge 62 may be such that the stretched portions 64 and 66 of each wire 34 can not be considered joined.
  • the bridge 62 and the fixing elements 36, 37 of the wires 34 are configured to allow a modification of the distance D5 substantially without modifying the distances D3 and D4, which entails a modification of the angle of inclination of the stretched portions 64 relative to the base plane and the angle of inclination of the stretched portions 66 relative to the base plane.
  • the calibration pattern 60 may be used in the same manner as the calibration pattern 30.
  • An advantage of the calibration pattern 60 is that the visibility of the wires 34 by all the cameras is increased when the calibration pattern 60 is scanned by the projection device P during a calibration operation.
  • the determination of the transformation which associates at each point of the first camera a point of the second camera The camera remains simple in that the relative positions between the stretched portions 64 and the stretched portions 66 are known.
  • each wire forms both the stretched portion 64 and the stretched portion 66
  • the stretched portions 64 can be formed by first wires and tensioned portions 66 may be formed by second wires different from the first wires.

Abstract

The invention relates to a method for geometric calibration of a first camera (C) of a system for determining three-dimensional images, which comprises the projection by a projection device (P) of a light beam onto a calibration test chart (30) comprising wires at least partially reflecting the light beam and secured to a mounting, the mounting defining a through-opening, each wire comprising a taut portion opposite the through-opening.

Description

PROCEDE D’ETALONNAGE D’UNE CAMERA D’UN SYSTEME DE DETERMINATION D’IMAGES TRIDIMENSIONNELLES ET MIRE D’ETALONNAGE  METHOD FOR CALIBRATING A CAMERA OF A THREE-DIMENSIONAL IMAGE DETERMINING SYSTEM AND CALIBRATION MIRE
La présente demande de brevet revendique la priorité de la demande de brevet français FR18/00512 qui sera considérée comme faisant partie intégrante de la présente description. The present patent application claims the priority of the French patent application FR18 / 00512 which will be considered as an integral part of the present description.
Domaine  Field
La présente invention concerne de façon générale un procédé d'étalonnage d'une caméra d'un système de détermination d'images tridimensionnelles, notamment pour une installation d'inspection optique destinée à l'analyse en ligne d'objets, notamment de circuits électroniques. L'invention concerne en outre une mire d'étalonnage pour la mise en oeuvre d'un tel procédé. Exposé de l ' art antérieur  The present invention generally relates to a method for calibrating a camera of a three-dimensional image determination system, in particular for an optical inspection installation intended for the on-line analysis of objects, in particular electronic circuits. . The invention further relates to a calibration chart for the implementation of such a method. Presentation of the prior art
Une installation d'inspection optique est généralement utilisée pour vérifier le bon état d'un objet, par exemple un circuit électronique, avant sa mise sur le marché. L'installation d'inspection optique peut fournir une image 3D de l'objet qui est analysée de façon automatique par ordinateur et/ou par un opérateur pour rechercher d'éventuels défauts. Une image 3D d'un objet correspond à un nuage de points, par exemple plusieurs millions de points, d'au moins une partie de la surface extérieure de l'objet dans lequel chaque point de la surface est repéré par W O 2019/22443 j - mire à fils PCT/FR2019/050838 An optical inspection facility is generally used to check the condition of an object, such as an electronic circuit, before it is placed on the market. The optical inspection facility can provide a 3D image of the object that is automatically scanned by computer and / or by an operator for potential defects. A 3D image of an object corresponds to a cloud of points, for example several million points, of at least a portion of the outer surface of the object in which each point of the surface is located by WO 2019/22443 j - sight to son PCT / FR2019 / 050838
2 2
ses coordonnées déterminées par rapport à un repère d'espace à trois dimensions.  its coordinates determined relative to a three-dimensional space marker.
Un procédé de détermination d'une image 3D comprend la projection d'un faisceau lumineux, par exemple par une source laser, le plus fin possible sur l'objet à observer, l'acquisition d'images par au moins une caméra de l'objet éclairé par le faisceau et la détermination de l'image 3D à partir des images acquises.  A method for determining a 3D image comprises the projection of a light beam, for example by a laser source, as thin as possible on the object to be observed, the acquisition of images by at least one camera of the object illuminated by the beam and the determination of the 3D image from the acquired images.
Une opération d'étalonnage géométrique de chaque caméra du système de détermination d'images 3D doit être réalisée au préalable. L'opération d'étalonnage correspond à la détermination, pour chaque caméra, de la relation entre les coordonnées spatiales d'un point de l'espace avec le point associé dans l'image prise par la caméra. Une opération d'étalonnage comprend généralement l'utilisation d'un outil cible, également appelé mire d'étalonnage, par exemple un damier pour lequel l'espacement entre les carreaux est connu avec précision ou un outil volumique dont la surface externe est connue avec précision.  A geometric calibration operation of each camera of the 3D image determination system must be performed beforehand. The calibration operation corresponds to the determination, for each camera, of the relationship between the spatial coordinates of a point of space with the associated point in the image taken by the camera. A calibration operation generally comprises the use of a target tool, also called calibration pattern, for example a checkerboard for which the spacing between the tiles is known accurately or a volume tool whose external surface is known with precision.
Pour un système de détermination d'une image 3D comprenant la projection d'un faisceau lumineux fin sur l'objet dont on souhaite déterminer l'image 3D, le volume de focalisation de chaque caméra du système est généralement concentré autour de du plan moyen défini par le faisceau lumineux, le plan image de la caméra étant sensiblement parallèle à ce plan moyen. Ceci peut rendre l'opération d'étalonnage complexe puisqu'il peut être difficile de placer la mire d'étalonnage au plus proche de ce plan moyen tout en permettant la couverture de la totalité du champ de vue de la caméra. En outre, lorsque plus d'une caméra est présente, il peut être difficile que la mire d'étalonnage, éclairée par le faisceau lumineux, soit visible simultanément par toutes les caméras. Enfin, la précision du procédé d'étalonnage géométrique peut dépendre de la précision de la mire d'étalonnage qui peut varier en fonction du procédé de fabrication de la mire d'étalonnage ou qui peut varier avec l'usure de la mire d'étalonnage. W O 2019/22443 j - mire à fils PCT/FR2019/050838 For a system for determining a 3D image comprising the projection of a fine light beam onto the object whose 3D image is to be determined, the focusing volume of each camera of the system is generally concentrated around the defined mean plane by the light beam, the image plane of the camera being substantially parallel to this mean plane. This may make the calibration operation complex as it may be difficult to place the calibration pattern as close to this mean plane while allowing coverage of the entire field of view of the camera. In addition, when more than one camera is present, it may be difficult for the calibration pattern, illuminated by the light beam, to be visible simultaneously by all cameras. Finally, the accuracy of the geometric calibration process may depend on the accuracy of the calibration pattern which may vary depending on the method of manufacturing the calibration pattern or which may vary with the wear of the calibration pattern. . WO 2019/22443 j - sight to son PCT / FR2019 / 050838
3 3
Résumé  summary
Un objet d'un mode de réalisation est de pallier au moins en partie les inconvénients des procédés d'étalonnage des systèmes de détermination d'une image 3D comprenant la projection d'un faisceau lumineux fin.  An object of an embodiment is to overcome at least in part the disadvantages of the calibration methods of 3D image determination systems comprising the projection of a fine light beam.
Un autre objet d'un mode de réalisation est d'utiliser une mire d'étalonnage qui soit visible simultanément par plus d'une caméra.  Another object of an embodiment is to use a calibration pattern that is visible simultaneously by more than one camera.
Un autre objet d'un mode de réalisation est que la mire d'étalonnage permette l'étalonnage géométrique de la totalité du champ de vue de la caméra.  Another object of an embodiment is that the calibration pattern permits the geometric calibration of the entire field of view of the camera.
Un autre objet d'un mode de réalisation est que la mire d'étalonnage puisse être réalisée de façon simple avec une précision élevée.  Another object of an embodiment is that the calibration pattern can be performed in a simple manner with high accuracy.
Un autre objet d'un mode de réalisation est que la mire d'étalonnage ne se déforme sensiblement pas dans le temps.  Another object of an embodiment is that the calibration pattern does not deform substantially over time.
Ainsi, un mode de réalisation prévoit un procédé d'étalonnage géométrique d'une première caméra d'un système de détermination d'images tridimensionnelles comprenant la projection par un dispositif de projection d'un faisceau lumineux sur une mire d'étalonnage comprenant des fils réfléchissant au moins partiellement le faisceau lumineux et fixés à un support, le support délimitant une ouverture traversante, chaque fil comprenant une portion tendue en vis-à-vis de l'ouverture traversante .  Thus, an embodiment provides a method of geometrically calibrating a first camera of a three-dimensional image determination system comprising projecting by a projection device a light beam onto a calibration pattern comprising wires at least partially reflecting the light beam and fixed to a support, the support defining a through opening, each wire comprising a portion stretched vis-à-vis the through opening.
Selon un mode de réalisation, le procédé comprend les étapes suivantes :  According to one embodiment, the method comprises the following steps:
acquérir des images bidimensionnelles de la mire d'étalonnage par la première caméra, le faisceau lumineux étant projeté par le dispositif de projection sur la mire d'étalonnage ; et  acquiring two-dimensional images of the calibration pattern by the first camera, the light beam being projected by the projection device onto the calibration pattern; and
déplacer relativement la mire d'étalonnage par rapport à l'ensemble comprenant la première caméra et le dispositif de projection entre les acquisitions d'au moins deux des images bidimensionnelles . WO 2019/22443 j1 - mire à fils PCT/FR2019/050838 relatively moving the calibration pattern relative to the assembly comprising the first camera and the projection device between the acquisitions of at least two of the two-dimensional images. WO 2019/22443 j 1 - thread pattern PCT / FR2019 / 050838
4 4
Selon un mode de réalisation, le procédé comprend en outre la détection, sur chaque image bidimensionnelle acquise, de taches lumineuses correspondant à l'intersection du faisceau lumineux et des portions tendues des fils.  According to one embodiment, the method further comprises detecting, on each acquired two-dimensional image, light spots corresponding to the intersection of the light beam and stretched portions of the son.
Selon un mode de réalisation, le procédé comprend en outre l'attribution, pour chaque tache lumineuse, de la tache lumineuse à l'un des fils.  According to one embodiment, the method further comprises assigning, for each light spot, the light spot to one of the son.
Selon un mode de réalisation, le procédé comprend en outre l'acquisition d'images bidimensionnelles de la mire d'étalonnage par une deuxième caméra simultanément aux acquisitions d'images bidimensionnelles par la première caméra.  According to one embodiment, the method further comprises acquiring two-dimensional images of the calibration pattern by a second camera simultaneously with two-dimensional image acquisitions by the first camera.
Selon un mode de réalisation, l'épaisseur du faisceau dans au moins une direction est inférieure à 200 ym.  According to one embodiment, the thickness of the beam in at least one direction is less than 200 μm.
Un mode de réalisation prévoit également une mire d'étalonnage pour l'étalonnage géométrique d'une caméra d'un système de détermination d'images tridimensionnelles comprenant un dispositif de projection d'un faisceau lumineux, la mire d'étalonnage comprenant des fils réfléchissant au moins partiellement le faisceau lumineux et fixés à un support, le support délimitant une ouverture traversante, chaque fil comprenant une première portion tendue en vis-à-vis de l'ouverture traversante .  An embodiment also provides a calibration pattern for the geometric calibration of a camera of a three-dimensional image determination system comprising a light beam projection device, the calibration pattern comprising reflective wires. at least partially the light beam and fixed to a support, the support defining a through opening, each wire comprising a first portion stretched vis-à-vis the through opening.
Selon un mode de réalisation, les premières portions tendues des fils sont parallèles.  According to one embodiment, the first stretched portions of the wires are parallel.
Selon un mode de réalisation, les premières portions tendues des fils sont coplanaires.  According to one embodiment, the first stretched portions of the wires are coplanar.
Selon un mode de réalisation, les écarts entre les premières portions tendues des fils de paires de fils adjacents sont identiques pour la majorité des paires de fils adjacents.  According to one embodiment, the gaps between the first stretched portions of the son of adjacent pairs of wires are identical for the majority of the pairs of adjacent wires.
Selon un mode de réalisation, chaque fil comprend une deuxième portion tendue non parallèle à la première portion tendue dudit fil.  According to one embodiment, each wire comprises a second stretched portion not parallel to the first stretched portion of said wire.
Selon un mode de réalisation, la mire comprend un dispositif de modification de l'inclinaison entre la première portion tendue et la deuxième portion tendue pour chaque fil. W O 2019/22443 j - mire à fils PCT/FR2019/050838 According to one embodiment, the test pattern comprises a device for modifying the inclination between the first stretched portion and the second tensioned portion for each wire. WO 2019/22443 j - sight to son PCT / FR2019 / 050838
5 5
Brève description des dessins  Brief description of the drawings
Ces caractéristiques et avantages, ainsi que d'autres, seront exposés en détail dans la description suivante de modes de réalisation particuliers faite à titre non limitatif en relation avec les figures jointes parmi lesquelles :  These and other features and advantages will be set forth in detail in the following description of particular embodiments in a non-limiting manner with reference to the accompanying drawings in which:
les figures 1 et 2 représentent, de façon partielle et schématique, un mode de réalisation d'une installation d'inspection optique de circuits électroniques comprenant un système de détermination d'images 3D ;  Figures 1 and 2 show, partially and schematically, an embodiment of an optical circuit inspection facility comprising a electronic 3D image determination system;
les figures 3 et 4 sont des vues en perspective, partielles et schématiques, illustrant le principe de fonctionnement d'un système de détermination d'images 3D mettant en oeuvre la projection d'un faisceau de lumière fin ;  Figures 3 and 4 are perspective views, partial and schematic, illustrating the operating principle of a 3D image determination system implementing the projection of a fine light beam;
la figure 5 est une vue en perspective, partielle et schématique, illustrant un inconvénient d'une opération connue d'étalonnage d'un système de détermination d'images 3D mettant en oeuvre la projection d'un faisceau de lumière fin ;  FIG. 5 is a perspective view, partial and schematic, illustrating a disadvantage of a known calibration operation of a 3D image determination system implementing the projection of a fine light beam;
la figure 6 est une vue de face, partielle et schématique, d'un mode de réalisation d'une mire d'étalonnage pour l'étalonnage d'un système de détermination d'images 3D mettant en oeuvre la projection d'un faisceau de lumière fin ;  FIG. 6 is a front view, partial and schematic, of an embodiment of a calibration pattern for the calibration of a 3D image determination system implementing the projection of a beam of fine light;
la figure 7 est un schéma par blocs d'un mode de réalisation d'un procédé d'étalonnage d'un système de détermination d'images 3D mettant en oeuvre la projection d'un faisceau de lumière fin sur la mire d'étalonnage représentée en figure 6 ;  FIG. 7 is a block diagram of an embodiment of a method for calibrating a 3D image determination system implementing the projection of a fine light beam onto the calibration pattern shown. in Figure 6;
la figure 8 est une vue en perspective, partielle et schématique, illustrant une étape du procédé d'étalonnage correspondant au schéma par blocs de la figure 7 ; et  Fig. 8 is a partial schematic perspective view illustrating a step of the calibration method corresponding to the block diagram of Fig. 7; and
la figure 9 est une vue en perspective, partielle et schématique, d'un autre mode de réalisation d'une mire d'étalonnage pour l'étalonnage d'un système de détermination d'images 3D mettant en oeuvre la projection d'un faisceau de lumière fin. W O 2019/22443 y - mire à fils PCT/FR2019/050838 FIG. 9 is a partial schematic perspective view of another embodiment of a calibration pattern for the calibration of a 3D image determination system using the projection of a beam. of fine light. WO 2019/22443 yarn thread pattern PCT / FR2019 / 050838
6 6
Description détaillée  detailed description
Par souci de clarté, de mêmes éléments ont été désignés par de mêmes références aux différentes figures et, de plus, les diverses figures ne sont pas tracées à l'échelle. Sauf précision contraire, les expressions "environ", "approximativement" et "sensiblement" signifient à 10 % près, de préférence à 5 % près. Lorsque les expressions "environ", "approximativement" et "sensiblement" sont utilisées en relation avec des angles ou des directions, elles signifient à 10° près, de préférence à 5° près. En outre, seuls les éléments utiles à la compréhension de la présente description ont été représentés et sont décrits.  For the sake of clarity, the same elements have been designated by the same references in the various figures and, in addition, the various figures are not drawn to scale. Unless otherwise specified, the terms "about", "approximately" and "substantially" mean within 10%, preferably within 5%. When the expressions "about", "approximately" and "substantially" are used in relation to angles or directions, they mean within 10 degrees, preferably within 5 degrees. In addition, only the elements useful for understanding the present description have been shown and are described.
Dans la suite de la description, des modes de réalisation vont être décrits dans le cas de l'inspection optique de circuits électroniques. Toutefois, ces modes de réalisation peuvent s'appliquer à la détermination d'images tridimensionnelles de tous types d'objets, notamment pour l'inspection optique de pièces mécaniques. On appelle (OX) et (OY) deux directions perpendiculaires, par exemple horizontales.  In the remainder of the description, embodiments will be described in the case of the optical inspection of electronic circuits. However, these embodiments can be applied to the determination of three-dimensional images of all types of objects, in particular for the optical inspection of mechanical parts. We call (OX) and (OY) two perpendicular directions, for example horizontal.
Les figures 1 et 2 sont respectivement une vue de face et une vue de dessus, très schématiques, d'un mode de réalisation d'une installation 10 d'inspection d'un circuit électronique Board. On entend par circuit électronique indifféremment un ensemble de composants électroniques interconnectés par l'intermédiaire d'un support, le support seul utilisé pour réaliser cette interconnexion sans les composants électroniques ou le support sans les composants électroniques mais muni de moyens de fixation des composants électroniques. A titre d'exemple, le support est un circuit imprimé et les composants électroniques sont fixés au circuit imprimé par des joints de soudure obtenus par chauffage de blocs de pâte à souder. Dans ce cas, on entend par circuit électronique indifféremment le circuit imprimé seul (sans composants électroniques, ni blocs de pâte à souder) , le circuit imprimé muni des blocs de pâte à souder et sans composants électroniques, le circuit imprimé muni des blocs de pâte à souder et des composants électroniques avant l'opération W O 2019/22443 j - mire à fils PCT/FR2019/050838 Figures 1 and 2 are respectively a front view and a top view, very schematic, of an embodiment of an inspection installation 10 of a Board electronic circuit. The term "electronic circuit" is understood to mean either a set of electronic components interconnected via a support, the only support used to make this interconnection without the electronic components or the support without the electronic components but provided with means for fixing the electronic components. By way of example, the support is a printed circuit and the electronic components are fixed to the printed circuit by solder joints obtained by heating soldering paste blocks. In this case, the term "electronic circuit" means the printed circuit alone (without electronic components or soldering paste blocks), the printed circuit provided with solder paste blocks and without electronic components, the printed circuit fitted with the dough blocks soldering and electronic components before the operation WO 2019/22443 j - sight to son PCT / FR2019 / 050838
7 7
de chauffage ou le circuit imprimé muni des composants électroniques fixés au circuit imprimé par les joints de soudure.  heater or the printed circuit provided with electronic components attached to the printed circuit by the solder joints.
Le circuit électronique Board est placé sur un convoyeur 12, par exemple un convoyeur plan. Le convoyeur 12 est susceptible de déplacer le circuit Board parallèlement à la direction (OY) . A titre d'exemple, le convoyeur 12 peut comprendre un ensemble de courroies et de galets entraînés par un moteur électrique tournant 14. A titre de variante, le convoyeur 12 peut comprendre un moteur linéaire déplaçant un charriot sur lequel repose le circuit électronique Board. Le circuit Board correspond, par exemple, à une carte rectangulaire ayant une longueur et une largeur variant de 50 mm à 550 mm.  The electronic circuit board is placed on a conveyor 12, for example a flat conveyor. The conveyor 12 is able to move the board circuit parallel to the direction (OY). For example, the conveyor 12 may comprise a set of belts and rollers driven by a rotating electric motor 14. Alternatively, the conveyor 12 may comprise a linear motor moving a carriage on which rests the Board electronic circuit. The board circuit corresponds, for example, to a rectangular board having a length and a width ranging from 50 mm to 550 mm.
L'installation d'inspection optique 10 comprend un système 15 de détermination d'une image 3D d'une scène, correspondant dans le présent mode de réalisation au circuit électronique Board. Le système 15 peut comprendre un dispositif P de projection d'un faisceau lumineux fin, comprenant par exemple une source laser ou comprenant un projecteur adapté à projeter une image contenant seulement une ligne. Le dispositif de projection P est relié à un système informatique 16 de contrôle, d'acquisition et de traitement d'images, également appelé module de traitement 16 par la suite. Le système 16 peut comprendre un ordinateur ou un microcontrôleur comportant un processeur et une mémoire non volatile dans laquelle sont stockées des séquences d'instructions dont l'exécution par le processeur permet au système 16 de réaliser les fonctions souhaitées. A titre de variante, le système 16 peut correspondre à un circuit électronique dédié. Le moteur électrique 14 est, en outre, commandé par le système 16.  The optical inspection facility 10 includes a system 15 for determining a 3D image of a scene, corresponding in the present embodiment to the Board electronic circuit. The system 15 may comprise a device P for projecting a fine light beam, comprising for example a laser source or comprising a projector adapted to project an image containing only one line. The projection device P is connected to a computer system 16 for controlling, acquiring and processing images, also called processing module 16 thereafter. The system 16 may comprise a computer or a microcontroller comprising a processor and a non-volatile memory in which instruction sequences are stored whose execution by the processor enables the system 16 to perform the desired functions. Alternatively, the system 16 may correspond to a dedicated electronic circuit. The electric motor 14 is further controlled by the system 16.
Le système 15 comporte, en outre, un dispositif d'acquisition d'images C comprenant au moins une caméra, par exemple une caméra numérique. A titre d'exemple, deux caméras C sont représentées sur les figures 1 et 2. Chaque caméra C est reliée au module de traitement 16. Lorsqu'une seule caméra C est présente, la caméra C et le dispositif de projection P peuvent W O 2019/22443 j - mire à fils PCT/FR2019/050838 The system 15 further comprises an image acquisition device C comprising at least one camera, for example a digital camera. By way of example, two cameras C are shown in FIGS. 1 and 2. Each camera C is connected to the processing module 16. When a single camera C is present, the camera C and the projection device P can WO 2019/22443 j - sight to son PCT / FR2019 / 050838
8 8
être alignés parallèlement à la direction (OX) . Lorsque plusieurs caméras C sont présentes, les caméras C peuvent être disposées de part et d'autre du projecteur P, parallèlement à la direction (OX) . La direction (OX) est parallèle à une direction privilégiée du dispositif d'acquisition d'images C et/ou du dispositif de projection P. A titre d'exemple, lorsqu'une seule caméra C est présente, la direction (OX) peut être parallèle à la droite passant par le centre optique de la caméra et le centre optique du projecteur et, lorsque deux caméras C sont présentes, la direction (OX) peut être parallèle à la droite passant par les centres optiques des caméras. Dans la suite de la description, on appelle image bidimensionnelle, ou image 2D, une image numérique acquise par l'une des caméras C et correspondant à une matrice de pixels. Dans la suite de la description, sauf indication contraire, le terme "image" fait référence à une image 2D. Dans la suite de la description, on appelle bloc projection-acquisition 18 l'ensemble comprenant le dispositif de projection P et le dispositif d'acquisition d'images C. Selon un mode de réalisation, l'installation 10 comprend un dispositif 20 de support, représenté de façon schématique seulement en figure 1, du bloc projection- acquisition 18, adapté à déplacer simultanément le dispositif de projection P et les caméras C, notamment en translation selon la direction (OX) . Le dispositif de support 20 peut être commandé par le module de traitement 16.  be aligned parallel to the direction (OX). When several cameras C are present, the cameras C can be arranged on either side of the projector P, parallel to the direction (OX). The direction (OX) is parallel to a preferred direction of the image acquisition device C and / or the projection device P. For example, when a single camera C is present, the direction (OX) can be parallel to the line through the optical center of the camera and the optical center of the projector and, when two cameras C are present, the direction (OX) may be parallel to the line through the optical centers of the cameras. In the remainder of the description, a two-dimensional image, or 2D image, is a digital image acquired by one of the cameras C and corresponding to a matrix of pixels. In the remainder of the description, unless otherwise indicated, the term "image" refers to a 2D image. In the remainder of the description, projection-acquisition block 18 is called the assembly comprising the projection device P and the image acquisition device C. According to one embodiment, the installation 10 comprises a support device 20 , shown diagrammatically only in FIG. 1, of the projection-acquisition unit 18, adapted to simultaneously move the projection device P and the cameras C, in particular in translation in the direction (OX). The support device 20 can be controlled by the processing module 16.
Les moyens de commande du convoyeur 12, du dispositif de support 20, de la caméra C et du dispositif de projection P de l'installation d'inspection optique 10 décrite précédemment sont à la portée de l'homme de l'art et ne sont pas décrits plus en détail .  The control means of the conveyor 12, the support device 20, the camera C and the projection device P of the optical inspection installation 10 described above are within the abilities of those skilled in the art and are not not described in more detail.
Selon un autre mode de réalisation, la direction (OY) est parallèle à une direction privilégiée du dispositif d'acquisition d'images C et/ou du dispositif de projection P. Le dispositif de support 18 peut alors être adapté à déplacer le dispositif de projection P et les caméras C en translation selon la direction (OY) . A titre de variante, le dispositif W O 2019/22443 j - mire à fils PCT/FR2019/050838 According to another embodiment, the direction (OY) is parallel to a preferred direction of the image acquisition device C and / or the projection device P. The support device 18 can then be adapted to move the device of P projection and C cameras in translation in the direction (OY). As a variant, the device WO 2019/22443 j - sight to son PCT / FR2019 / 050838
9 9
d'acquisition d'images C et le dispositif de projection P peuvent être fixes par rapport au châssis de l'installation 10 d'inspection optique, le déplacement relatif du circuit Board par rapport au dispositif d'acquisition d'images C et au dispositif de projection P étant réalisé au moyen du convoyeur 12.  image acquisition device C and the projection device P can be fixed with respect to the frame of the optical inspection installation 10, the relative displacement of the Board circuit with respect to the image acquisition device C and the device projection P being realized by means of the conveyor 12.
On appelle (OZ) la direction perpendiculaire aux directions (OX) et (OY) . Les directions (OX) , (OY) et (OZ) constituent un repère d'espace à trois dimensions RREE (OX, OY, OZ) fixe par rapport au châssis, non représenté, de l'installation d'inspection optique 10. Le plan de coupe de la figure 2 est parallèle au plan (OX, OY) . Le système 15 est adapté à déterminer une image 3D du circuit Board. Une image 3D du circuit Board correspond à un nuage de points, par exemple plusieurs millions de points, d'au moins une partie de la surface extérieure du circuit Board dans lequel chaque point de la surface est repéré par ses coordonnées (x, y, z) déterminées par rapport au repère BREF (OX/ OY OZ) . Dans la suite de la description, le plan (OX, OY) est appelé plan de référence PIREF· Ba coordonnée z d'un point de la surface de l'objet correspond alors à la hauteur du point mesurée par rapport au plan de référence PIREF· A titre d'exemple, le plan de référence PIREF correspond au plan contenant la face supérieure ou la face inférieure du circuit imprimé. Le plan PIREF peut être horizontal. De préférence, la direction (OZ) est perpendiculaire au plan (OX, OY) , c'est-à-dire perpendiculaire aux faces supérieure ou inférieure du circuit imprimé. We call (OZ) the direction perpendicular to the directions (OX) and (OY). The directions (OX), (OY) and (OZ) constitute a fixed three-dimensional space mark RREE (OX, OY, OZ) with respect to the frame, not shown, of the optical inspection installation 10. The sectional plane of Figure 2 is parallel to the plane (OX, OY). The system 15 is adapted to determine a 3D image of the Board circuit. A 3D image of the board circuit corresponds to a cloud of points, for example several million points, of at least a portion of the outer surface of the board circuit in which each point of the surface is marked by its coordinates (x, y, z) determined with respect to the reference BREF (OX / OY OZ). In the remainder of the description, the plane (OX, OY) is called reference plane PIREF · Ba coordinate z of a point on the surface of the object then corresponds to the height of the point measured with respect to the reference plane PIREF By way of example, the reference plane PIREF corresponds to the plane containing the upper face or the lower face of the printed circuit. The plane PIREF can be horizontal. Preferably, the direction (OZ) is perpendicular to the plane (OX, OY), that is to say perpendicular to the upper or lower faces of the printed circuit.
La figure 3 illustre le fonctionnement du système de détermination d'une image 3D. Le dispositif de projection P est configuré pour projeter un faisceau lumineux fin qui suit sensiblement une surface lumineuse S. Selon un mode de réalisation, le faisceau lumineux correspond à un faisceau laser sensiblement cylindrique et le dispositif de projection P comprend un mécanisme configuré pour déplacer le faisceau laser et lui faire balayer la surface S. Selon un autre mode de réalisation, le dispositif de projection P est configuré pour émettre le faisceau lumineux directement selon la surface S. Il s'agit par W O 2019/22443 j1 - mire à fils PCT/FR2019/050838 Figure 3 illustrates the operation of the system for determining a 3D image. The projection device P is configured to project a thin light beam which substantially follows a light surface S. According to one embodiment, the light beam corresponds to a substantially cylindrical laser beam and the projection device P comprises a mechanism configured to move the light beam. laser beam and make it scan the surface S. According to another embodiment, the projection device P is configured to emit the light beam directly on the surface S. This is by WO 2019/22443 j 1 - thread pattern PCT / FR2019 / 050838
10 10
exemple d'un dispositif de projection P comprenant une source laser et un dispositif de diffraction ou une lentille de Powell. Dans la suite de la description, on appelle surface lumineuse S la surface définie par le faisceau lumineux projeté par le dispositif de projection P indépendamment du fait que le faisceau lumineux s'étend directement à partir du dispositif de projection P selon la surface S ou que le faisceau lumineux balaye cette surface S. Selon un mode de réalisation, l'épaisseur du faisceau lumineux selon la direction (OX) est inférieure à 200 ym. De préférence, la surface lumineuse S est la plus plane possible, par exemple selon un plan parallèle au plan (OYZ) , avec un balayage de la scène Sc par la surface lumineuse S selon la direction (OY) . Toutefois, notamment lorsque la surface S est obtenue par diffraction ou au moyen d'une lentille de Powell, il peut être difficile de contrôler parfaitement la surface S de sorte que la surface S peut ne pas être parfaitement plane. Le faisceau lumineux est réfléchi par la scène Sc et la caméra C fait l'acquisition d'une image I de la scène Sc. L'intersection entre le faisceau lumineux délimitant la surface lumineuse S et la scène Sc correspond sensiblement à une ligne lumineuse L qui apparaît sous la forme d'une ligne L' sur l'image I acquise par la caméra C.  example of a projection device P comprising a laser source and a diffraction device or a Powell lens. In the remainder of the description, the luminous surface S is defined as the area defined by the light beam projected by the projection device P independently of the fact that the light beam extends directly from the projection device P along the surface S or that the light beam scans this surface S. According to one embodiment, the thickness of the light beam in the direction (OX) is less than 200 ym. Preferably, the luminous surface S is as flat as possible, for example in a plane parallel to the plane (OYZ), with a scanning of the scene Sc by the luminous surface S in the direction (OY). However, especially when the surface S is obtained by diffraction or by means of a Powell lens, it may be difficult to perfectly control the surface S so that the surface S may not be perfectly flat. The light beam is reflected by the scene Sc and the camera C acquires an image I of the scene Sc. The intersection between the light beam delimiting the light surface S and the scene Sc corresponds substantially to a light line L which appears in the form of a line L 'on image I acquired by the camera C.
Pour la détermination d'une image 3D de la scène Sc, un déplacement relatif est réalisé entre la scène Sc et le bloc 18 projection-acquisition, par exemple selon la direction (OX) et des images sont acquises par la caméra C, par exemple à intervalles réguliers. Le déplacement relatif entre la scène Sc et le bloc 18 projection-acquisition peut être temporairement interrompu pour l'acquisition de chaque image I par la caméra C ou l'acquisition de chaque image I peut être réalisée à la volée au cours du déplacement relatif entre la scène Sc et le bloc 18 projection- acquisition. On dispose ainsi, pour chaque caméra C, d'un ensemble d'images comprenant chacune un trait L' de forme différente d'une image à 1 ' autre . W O 2019/22443 j - mire à fils PCT/FR2019/050838 For the determination of a 3D image of the scene Sc, a relative displacement is performed between the scene Sc and the projection-acquisition block 18, for example according to the direction (OX) and images are acquired by the camera C, for example at regular intervals. The relative displacement between the scene Sc and the projection-acquisition block 18 can be temporarily interrupted for the acquisition of each image I by the camera C or the acquisition of each image I can be carried out on the fly during the relative displacement between the scene Sc and the block 18 projection-acquisition. Thus, for each camera C, there is a set of images each comprising a line L 'of different shape from one image to the other. WO 2019/22443 j - sight to son PCT / FR2019 / 050838
11 11
La figure 4 illustre le principe de détermination d'une image 3D. Pour déterminer l'image 3D du circuit Board, il faut connaître la fonction de transformation qui associe à chaque point q de coordonnées (u, v) de 1 ' image I acquise par la caméra C dans le repère de l'image le point Q de l'espace de coordonnées (x, y, z) correspondant de la scène Sc dans le repère RREF· Cette fonction de transformation est déterminée par un procédé d'étalonnage géométrique de chaque caméra C dans laquelle des paramètres de fonctionnement de chaque caméra C sont déterminés.  Figure 4 illustrates the principle of determining a 3D image. To determine the 3D image of the board circuit, it is necessary to know the transformation function which associates with each coordinate point (u, v) of the image I acquired by the camera C in the frame of the image the point Q the corresponding coordinate space (x, y, z) of the scene Sc in the reference frame RREF · This transformation function is determined by a method of geometric calibration of each camera C in which operating parameters of each camera C are determined.
Un premier exemple de procédé d'étalonnage géométrique, également appelé calibration explicite, peut comprendre l'estimation, pour chaque caméra C, des valeurs de paramètres d'un modèle mathématique équivalent de la caméra C qui fait correspondre à chaque point Q de coordonnées (x, y, z) de la scène Sc un point q de coordonnées (u, v) correspondant dans le plan des photodétecteurs de la caméra C. Le modèle mathématique est utilisé lors du fonctionnement normal de l'installation d'inspection optique 10. Selon le modèle mathématique de la caméra C utilisé, les paramètres peuvent comprendre des paramètres intrinsèques tels que le point principal, la distance focale de la caméra C selon différents axes, le paramètre (en anglais "skew factor") représentatif de la non orthogonalité des axes de la caméra C et des paramètres extrinsèques tels que la matrice de translation et la matrice de rotation de la transformation géométrique entre un système de coordonnées de référence fixe par rapport au bloc 18 projection-acquisition et un système de coordonnées lié à la caméra C. Le modèle mathématique peut en outre tenir compte de la distorsion optique de la caméra C. Un tel procédé d'étalonnage peut nécessiter de modéliser la surface lumineuse S, par exemple par une équation de plan.  A first example of a geometric calibration method, also called an explicit calibration, may comprise the estimation, for each camera C, of parameter values of an equivalent mathematical model of the camera C which corresponds to each point Q of coordinates ( x, y, z) of the scene Sc a point q of coordinates (u, v) corresponding in the plane of the photodetectors of the camera C. The mathematical model is used during the normal operation of the optical inspection installation 10. According to the mathematical model of the camera C used, the parameters may include intrinsic parameters such as the main point, the focal length of the camera C along different axes, the parameter (in English "skew factor") representative of the non-orthogonality of the axes of the camera C and extrinsic parameters such as the translation matrix and the rotation matrix of the geometric transformation between a coor system reference data fixed with respect to the projection-acquisition block 18 and a coordinate system linked to the camera C. The mathematical model can furthermore take into account the optical distortion of the camera C. Such a calibration method may require modeling the luminous surface S, for example by a plane equation.
Un deuxième exemple de procédé d'étalonnage géométrique, également appelé calibration implicite, peut comprendre la détermination, pour chaque caméra C, d'une table de correspondance qui fait correspondre à un ensemble de points de la scène des points de l'image acquise par la caméra C. La calibration W O 2019/22443 j - mire à fils PCT/FR2019/050838 A second example of a geometric calibration method, also called implicit calibration, may include determining, for each camera C, a correspondence table that matches a set of points of the scene of the points of the image acquired by the camera C. The calibration WO 2019/22443 j - sight to son PCT / FR2019 / 050838
12 12
implicite ne requiert pas une modélisation de la surface lumineuse implicit does not require a modeling of the light surface
S. S.
Le procédé d'étalonnage de chaque caméra peut requérir l'utilisation d'une mire d'étalonnage de forme connue sur laquelle est projeté le faisceau lumineux émis par le dispositif de projection P. Une mire comprend généralement un support sur une face duquel sont formées des marques de formes et de dimensions adaptées au procédé d'étalonnage. Pour un étalonnage géométrique, on peut utiliser une mire d'étalonnage comprenant un damier bicolore alternant des cases blanches et des cases d'une autre couleur.  The calibration method of each camera may require the use of a calibration rod of known shape on which is projected the light beam emitted by the projection device P. A pattern generally comprises a support on one side of which are formed marks of shapes and dimensions suitable for the calibration process. For a geometric calibration, a calibration pattern can be used that includes a two-color checkerboard alternating white boxes and boxes of another color.
La figure 5 illustre un inconvénient d'un procédé d'étalonnage géométrique connu. Pour les systèmes 15 de détermination d'images 3D comprenant la projection d'une surface lumineuse S, le volume de focalisation de la caméra C ou des caméras C, c'est-à-dire la région de l'espace contenant les points qui apparaissent de façon nette sur l'image I acquise par la caméra C, est généralement concentré autour de la surface lumineuse S suivie par le faisceau lumineux, le plan image de la caméra C étant sensiblement parallèle à cette surface S . Ceci peut rendre le procédé d'étalonnage complexe. En effet, il est alors nécessaire de positionner la mire d'étalonnage M au plus proche de la surface S. Les déplacements possibles de la mire d'étalonnage M par rapport à la caméra C sont alors limités. Toutefois, la plupart des procédés de détermination des paramètres de caméra requiert l'acquisition d'images de la mire d'étalonnage M sous différentes orientations de la mire d'étalonnage M par rapport à la caméra C. En outre, il peut être difficile de couvrir avec une seule mire d'étalonnage M la totalité du champ de vue de la caméra C.  Figure 5 illustrates a disadvantage of a known geometric calibration method. For 3D image determination systems comprising the projection of a luminous surface S, the focusing volume of the camera C or the cameras C, that is to say the region of the space containing the points which appear clearly on the image I acquired by the camera C, is generally concentrated around the luminous surface S followed by the light beam, the image plane of the camera C being substantially parallel to this surface S. This can make the calibration process complex. In fact, it is then necessary to position the calibration target M closest to the surface S. The possible displacements of the calibration target M with respect to the camera C are then limited. However, most methods of determining camera parameters require the acquisition of images of the calibration pattern M under different orientations of the calibration pattern M with respect to the camera C. In addition, it may be difficult to cover with a single calibration target M the entire field of view of the camera C.
En outre, dans le cas où le système 15 comprend plus d'une caméra, il peut être difficile de placer la mire d'étalonnage M de façon qu'elle soit visible simultanément par toutes les caméras C. En figure 5, on a représenté schématiquement la mire d'étalonnage M qui est visible par la caméra Cl rendant W O 2019/22443 j - mire à fils PCT/FR2019/050838 In addition, in the case where the system 15 comprises more than one camera, it may be difficult to place the calibration pattern M so that it is visible simultaneously by all the cameras C. In FIG. schematically the calibration pattern M which is visible by the camera Cl making WO 2019/22443 j - sight to son PCT / FR2019 / 050838
13 13
possible l'acquisition d'une image II de la mire d'étalonnage M par la caméra Cl mais pas par la caméra C2 ne rendant pas possible l'acquisition d'une image 12 de la mire d'étalonnage M par la caméra C2. Il est alors nécessaire de réaliser une modélisation caméra par caméra ce qui complique le positionnement des modèles des caméras Cl et C2 dans un repère commun.  possible the acquisition of an image II of the calibration pattern M by the camera C1 but not by the camera C2 does not make it possible to acquire an image 12 of the calibration pattern M by the camera C2. It is then necessary to carry out a camera-by-camera modeling which complicates the positioning of the models of the cameras C1 and C2 in a common reference frame.
La figure 6 représente un mode de réalisation d'une mire d'étalonnage 30 selon l'invention.  Figure 6 shows an embodiment of a calibration pattern 30 according to the invention.
La mire d'étalonnage 30 comprend un support 32 et des fils 34. Chaque fil 34 est fixé au support 32 à ses extrémités par des éléments de fixation 36, 37. Le support 32 comprend une ouverture centrale traversante 38 de façon que les fils 34 soient visibles sensiblement quelle que soit l'orientation de la mire d'étalonnage 30. Le support 32 a par exemple la forme d'un cadre. Les fils 34 sont de préférence réfléchissants au rayonnement du faisceau lumineux projeté par le dispositif de projection P. Chaque fil 34 est tendu sur le support 32 de façon à présenter une portion tendue 39 en vis-à-vis de l'ouverture 38. La mire d'étalonnage 30 peut comprendre de 10 à 100 fils. Le diamètre de chaque fil 34 peut être compris entre 100 ym et 500 ym. Selon un mode de réalisation, les fils 34 sont sensiblement parallèles. Les fils 34 peuvent être en matière plastique, par exemple en nylon. On appelle DI l'écart, ou pas, entre deux fils 34 adjacents et D2 la longueur des portions tendues 39 des fils 34 en vis-à- vis de l'ouverture 38. Selon un mode de réalisation, à l'exception éventuelle d'une paire de fils 34 ou de quelques paires de fils 34, le pas DI est constant quelle que soit la paire de fils 34 adjacents considérés. Selon un mode de réalisation, le pas DI compris entre 2 mm et 5 mm. Selon un mode de réalisation, la dimension D2 est comprise entre 5 cm et 50 cm. Selon un mode de réalisation, les portions tendues 39 des fils 34 sont sensiblement parallèles. Selon un mode de réalisation, les portions tendues 39 des fils 34 sont sensiblement coplanaires.  The calibration target 30 comprises a support 32 and wires 34. Each wire 34 is fixed to the support 32 at its ends by fixing elements 36, 37. The support 32 comprises a central through opening 38 so that the wires 34 are visible substantially regardless of the orientation of the calibration target 30. The support 32 has for example the form of a frame. The son 34 are preferably reflective to the radiation of the light beam projected by the projection device P. Each wire 34 is stretched on the support 32 so as to have a stretched portion 39 vis-à-vis the opening 38. The Calibration pattern 30 may comprise from 10 to 100 threads. The diameter of each wire 34 may be between 100 μm and 500 μm. According to one embodiment, the son 34 are substantially parallel. The son 34 may be plastic, for example nylon. The distance between two adjacent wires 34 and D2 is the distance, or not, between the lengths of the tensioned portions 39 of the wires 34 vis-à-vis the opening 38. According to one embodiment, with the possible exception of a pair of wires 34 or a few pairs of wires 34, the pitch DI is constant regardless of the pair of adjacent wires 34 considered. According to one embodiment, the pitch DI between 2 mm and 5 mm. According to one embodiment, the dimension D2 is between 5 cm and 50 cm. According to one embodiment, the stretched portions 39 of the son 34 are substantially parallel. According to one embodiment, the stretched portions 39 of the son 34 are substantially coplanar.
La figure 7 est un schéma par blocs d'un mode de réalisation d'un procédé d'étalonnage géométrique du système 15 W O 2019/22443 y - mire à fils PCT/FR2019/050838 Fig. 7 is a block diagram of one embodiment of a method of geometric calibration of the system. WO 2019/22443 yarn thread pattern PCT / FR2019 / 050838
14 14
de détermination d'images 3D utilisant la mire d'étalonnage 30 représentée en figure 6. Le procédé comprend des étapes 40, 42, 44, 46 successives. Le procédé d'étalonnage peut correspondre à une calibration explicite ou à une calibration implicite.  method of determining 3D images using the calibration pattern 30 shown in FIG. 6. The method comprises successive steps 40, 42, 44, 46. The calibration process may correspond to an explicit calibration or to an implicit calibration.
A l'étape 40, des acquisitions d'images sont réalisées par chaque caméra en déplaçant, entre deux acquisitions successives d'images, le bloc 18 projection-acquisition relativement par rapport à la mire d'étalonnage 30 selon la direction (OX) .  In step 40, image acquisitions are performed by each camera by moving, between two successive acquisitions of images, the projection-acquisition block 18 relative to the calibration target 30 in the direction (OX).
La figure 8 est une vue en perspective, partielle et schématique, illustrant l'acquisition d'une image à l'étape 40. La mire d'étalonnage 30 est éclairée par le dispositif de projection P. Sur chaque image I acquise, on observe l'intersection de la mire d'étalonnage 30 et de la surface lumineuse S parcourue par le faisceau lumineux émis par le dispositif de projection P qui, de façon avantageuse, correspond à un ensemble de taches 50, chaque tache 50 étant plus ou moins circulaire ou elliptique et correspondant à l'intersection d'un fil 34 avec la surface lumineuse S parcourue par le faisceau lumineux .  FIG. 8 is a perspective view, partial and schematic, illustrating the acquisition of an image in step 40. The calibration target 30 is illuminated by the projection device P. On each image I acquired, one observes the intersection of the calibration target 30 and the light surface S traversed by the light beam emitted by the projection device P which advantageously corresponds to a set of spots 50, each spot 50 being more or less circular or elliptical and corresponding to the intersection of a wire 34 with the light surface S traversed by the light beam.
En considérant à nouveau la figure 7, à l'étape 42, des points de référence sont détectés sur chaque image acquise à partir des taches 50. Ceci peut être mis en oeuvre par tout type de procédés de reconnaissance de forme. Le fait que les taches 50 sont de petites dimensions, isolées les unes des autres, et de forme globale connue permet de simplifier le procédé de reconnaissance des points de référence mis en oeuvre. A titre d'exemple, le point de référence associé à une tache 50 peut correspondre au centre du cercle dans lequel est inscrite la tache 50.  Referring again to FIG. 7, in step 42, reference points are detected on each image acquired from the spots 50. This can be implemented by any type of pattern recognition methods. The fact that the spots 50 are of small dimensions, isolated from each other, and of known overall shape makes it possible to simplify the process for recognizing the reference points used. By way of example, the reference point associated with a spot 50 may correspond to the center of the circle in which the spot 50 is inscribed.
Selon un mode de réalisation, les fils 34 sont inclinés par rapport au plan (OX, OY) d'un angle compris entre 10° et 75°. De préférence, l'angle d'inclinaison des fils 34 est tel que lors du déplacement relatif entre la mire d'étalonnage 30 et le bloc 18 projection-acquisition, les points de référence déterminés sont W O 2019/22443 j - mire à fils PCT/FR2019/050838 According to one embodiment, the son 34 are inclined relative to the plane (OX, OY) by an angle of between 10 ° and 75 °. Preferably, the angle of inclination of the wires 34 is such that during the relative displacement between the calibration target 30 and the projection-acquisition block 18, the determined reference points are WO 2019/22443 j - sight to son PCT / FR2019 / 050838
15 15
répartis sensiblement dans la totalité du volume de focalisation de la caméra C. La densité des points de référence détectés dépend notamment du nombre de fils 34, du pas DI entre les fils 34, et du pas d'avancement du déplacement relatif entre la mire d'étalonnage 30 et le bloc 18 projection-acquisition selon la direction (OX) entre deux acquisitions d'images successives. Une densité importante de points sur la totalité du volume de focalisation de la caméra C peut être obtenue de façon simple.  distributed substantially throughout the focusing volume of the camera C. The density of the reference points detected depends in particular on the number of wires 34, the pitch DI between the wires 34, and the advancement step of the relative displacement between the test pattern. calibration 30 and the projection-acquisition block 18 according to the direction (OX) between two acquisitions of successive images. A large density of points on the entire focusing volume of the camera C can be obtained in a simple manner.
A l'étape 44, une mise en correspondance, pour chaque image acquise, est réalisée entre chaque point de référence et le point physique 3D correspondant du fil 34. La mire d'étalonnage 30 peut être configurée pour faciliter cette étape de mise en correspondance, notamment pour déterminer à quel fil est associé le point de référence déterminé sur l'image acquise. Selon un mode de réalisation, la mire d'étalonnage 30 peut comprendre une dissymétrie pour faciliter le repérage des fils 34 sur l'image acquise. Selon un mode de réalisation, le pas entre deux fils adjacents est constant sauf pour une paire de fils qui sont plus espacés ou moins espacés. De ce fait, en comptant les taches 50 sur l'image acquise à partir de la paire de taches pour laquelle l'écart est différent, on peut faire correspondre facilement les fils 34 et les taches 50. Selon un autre mode de réalisation, les fils 34 peuvent avoir le même diamètre sauf au moins l'un des fils 34 qui est de diamètre différent. De ce fait, en comptant les taches 50 sur l'image acquise à partir de la tache 50 de forme différente correspondant au fil de diamètre différent, on peut faire correspondre facilement les fils 34 et les taches 50. Selon un mode de réalisation, la mire d'étalonnage 30 peut comprendre des repères pour faciliter la mise en correspondance entre le point de référence et le point 3D du fil 34. Par exemple, la portion 39 tendue de chaque fil 34 peut comprendre des tronçons successifs de couleurs différentes, ce qui permet de déterminer directement à quel tronçon du fil appartient le point 3D correspondant au point de référence déterminé sur l'image acquise. W O 2019/22443 j - mire à fils PCT/FR2019/050838 In step 44, a mapping for each acquired image is performed between each reference point and the corresponding 3D physical point of the wire 34. The calibration target 30 may be configured to facilitate this mapping step. , in particular to determine which wire is associated with the reference point determined on the acquired image. According to one embodiment, the calibration target 30 may comprise an asymmetry to facilitate the identification of the son 34 on the acquired image. According to one embodiment, the pitch between two adjacent wires is constant except for a pair of wires that are further apart or less spaced apart. Therefore, by counting the spots 50 on the image acquired from the pair of spots for which the difference is different, the wires 34 and the spots 50 can be easily matched. According to another embodiment, the son 34 may have the same diameter except at least one son 34 which is of different diameter. Therefore, by counting the spots 50 on the image acquired from the spot 50 of different shape corresponding to the yarn of different diameter, the yarns 34 and the spots 50 can be easily matched. According to one embodiment, the Calibration pattern 30 may comprise markers to facilitate the matching between the reference point and the 3D point of the thread 34. For example, the stretched portion 39 of each thread 34 may comprise successive sections of different colors, which allows to determine directly to which section of the thread belongs the 3D point corresponding to the reference point determined on the acquired image. WO 2019/22443 j - sight to son PCT / FR2019 / 050838
16 16
A l'étape 46, la détermination des paramètres de chaque caméra est réalisée à partir des points de référence détectés et identifiés aux étapes 42 et 44 selon des procédés connus. Il peut s'agir d'une calibration explicite ou d'une calibration implicite.  In step 46, the determination of the parameters of each camera is performed from the reference points detected and identified in steps 42 and 44 according to known methods. It can be an explicit calibration or an implicit calibration.
Les fils 34 peuvent être fabriqués facilement avec un diamètre précis et le placement des fils 34 sur la mire d'étalonnage 30 peut être réalisé facilement avec précision. Ceci permet de façon avantageuse d'obtenir les points de référence sur les images acquises avec précision. Le procédé d'étalonnage peut ainsi être réalisé avec précision. En outre, l'usure de la mire d'étalonnage 30 est faible.  The threads 34 can be easily manufactured with a precise diameter and the placement of the threads 34 on the calibration pattern 30 can be easily achieved with precision. This advantageously makes it possible to obtain the reference points on the images acquired with precision. The calibration process can thus be performed accurately. In addition, the wear of the calibration pattern 30 is low.
De façon avantageuse, lorsque le système 15 de détermination d'images 3D comprend au moins une première caméra et une deuxième caméra, les acquisitions d'images de la mire d'étalonnage par les première et deuxième caméras peuvent être réalisées simultanément dans la mesure où les fils 34 sont visibles par les deux caméras. Le module de traitement 16 associe à chaque point de référence de la première image de la mire d'étalonnage 30 déterminée par la première caméra le point de référence correspondant de la deuxième image de la mire d'étalonnage 30 déterminée par la deuxième caméra. Ceci permet de faciliter la détermination de la transformation qui associe à chaque point de la première caméra un point de la deuxième caméra.  Advantageously, when the 3D image determination system 15 comprises at least a first camera and a second camera, the acquisition of images of the calibration pattern by the first and second cameras can be performed simultaneously insofar as the son 34 are visible by the two cameras. The processing module 16 associates with each reference point of the first image of the calibration target determined by the first camera the corresponding reference point of the second image of the calibration target determined by the second camera. This facilitates the determination of the transformation which associates at each point of the first camera a point of the second camera.
La figure 9 est une vue en perspective, partielle et schématique, d'un autre mode de réalisation d'une mire d'étalonnage 60 pour l'étalonnage du système 15 de détermination d'images 3D représenté sur les figures 1 et 2.  Fig. 9 is a partial schematic perspective view of another embodiment of a calibration pattern 60 for calibrating the 3D image judging system 15 shown in Figs. 1 and 2.
La mire d'étalonnage 60 comprend l'ensemble des éléments de la mire d'étalonnage 30 représentée en figure 6 et comprend en outre un chevalet 62 relié au support 32 et sur lequel les fils 34 sont en appui de façon que chaque fil 34 comprend une première portion tendue 64 entre l'extrémité fixée au support 32 par l'élément de fixation 36 et le chevalet 62 et une deuxième portion tendue 66 entre l'extrémité fixée au support 32 par l'élément de fixation 37 et le chevalet 62. Selon un mode de réalisation, les W O 2019/22443 j - mire à fils PCT/FR2019/050838 The calibration pattern 60 comprises all the elements of the calibration pattern 30 shown in FIG. 6 and further comprises a bridge 62 connected to the support 32 and on which the threads 34 rest so that each thread 34 comprises a first tensioned portion 64 between the end fixed to the support 32 by the fixing element 36 and the bridge 62 and a second stretched portion 66 between the end fixed to the support 32 by the fixing element 37 and the bridge 62. According to one embodiment, the WO 2019/22443 j - sight to son PCT / FR2019 / 050838
17 17
premières portions tendues 64 sont sensiblement parallèles et les deuxièmes portions tendues 66 sont sensiblement parallèles. Selon un mode de réalisation, les extrémités des portions tendues 64, 66 des fils en contact avec le support 32 sont sensiblement coplanaires et définissent un plan de base. On appelle D3 la projection orthogonale sur le plan de base de la longueur de la portion tendue 64 du fil 34 et on appelle D4 la projection orthogonale sur le plan de base de la longueur de la portion tendue 66 du fil 34. Selon un mode de réalisation, les distances D3 sont sensiblement identiques pour tous les fils 34 et les distances D4 sont sensiblement identiques pour tous les fils 34. On appelle D5 la distance, mesurée orthogonalement par rapport au plan de base, de la longueur de la portion tendue 64 ou 66 du fil 34. Selon un mode de réalisation, les distances D5 sont sensiblement identiques pour tous les fils 34. Les angles d'inclinaison des portions tendues 64 des fils 34 par rapport au plan de base sont sensiblement identiques et définis par les distances D3 et D5. Les angles d'inclinaison des portions tendues 64 des fils 34 par rapport au plan de base sont sensiblement identiques et définis par les distances D4 et D5. Les angles d'inclinaison des portions tendues 64 des fils 34 par rapport au plan de base sont égaux aux angles d'inclinaison des portions tendues 66 des fils 34 par rapport au plan de base lorsque les distances D3 et D4 sont égales et les angles d'inclinaison des portions tendues 64 des fils 34 par rapport au plan de base sont différents des angles d'inclinaison des portions tendues 66 des fils 34 par rapport au plan de base lorsque les distances D3 et D4 ne sont pas égales.  first stretched portions 64 are substantially parallel and the second stretched portions 66 are substantially parallel. According to one embodiment, the ends of the stretched portions 64, 66 of the son in contact with the support 32 are substantially coplanar and define a basic plane. D 3 is the orthogonal projection on the base plane of the length of the stretched portion 64 of the wire 34, and D 4 is the orthogonal projection on the base plane of the length of the stretched portion 66 of the wire 34. According to one embodiment of FIG. realization, the distances D3 are substantially identical for all the son 34 and the distances D4 are substantially identical for all the son 34. D5 is the distance, measured orthogonally with respect to the base plane, of the length of the stretched portion 64 or 66 of the thread 34. According to one embodiment, the distances D5 are substantially identical for all the threads 34. The inclination angles of the stretched portions 64 of the threads 34 relative to the base plane are substantially identical and defined by the distances D3 and D5. The inclination angles of the stretched portions 64 of the son 34 relative to the base plane are substantially identical and defined by the distances D4 and D5. The inclination angles of the tensioned portions 64 of the threads 34 relative to the base plane are equal to the inclination angles of the stretched portions 66 of the threads 34 with respect to the base plane when the distances D3 and D4 are equal and the angles d The inclination of the tensioned portions 64 of the wires 34 relative to the base plane are different from the inclination angles of the stretched portions 66 of the wires 34 relative to the base plane when the distances D3 and D4 are not equal.
En figure 9, le chevalet 62 est représenté de façon schématique avec une épaisseur négligeable de façon que les portions tendues 64 et 66 de chaque fil 34 puissent être considérées comme étant sensiblement jointives. A titre de variante, l'épaisseur du chevalet 62 peut être telle que les portions tendues 64 et 66 de chaque fil 34 ne puissent pas être considérées comme jointives. W O 2019/22443 j - mire à fils PCT/FR2019/050838 In Figure 9, the bridge 62 is shown schematically with a negligible thickness so that the tensioned portions 64 and 66 of each wire 34 can be considered substantially contiguous. Alternatively, the thickness of the bridge 62 may be such that the stretched portions 64 and 66 of each wire 34 can not be considered joined. WO 2019/22443 j - sight to son PCT / FR2019 / 050838
18 18
Selon un mode de réalisation, le chevalet 62 et les éléments de fixation 36, 37 des fils 34 sont configurés pour permettre une modification de la distance D5 sensiblement sans modifier les distances D3 et D4, ce qui entraîne une modification de l'angle d'inclinaison des portions tendues 64 par rapport au plan de base et de l'angle d'inclinaison des portions tendues 66 par rapport au plan de base .  According to one embodiment, the bridge 62 and the fixing elements 36, 37 of the wires 34 are configured to allow a modification of the distance D5 substantially without modifying the distances D3 and D4, which entails a modification of the angle of inclination of the stretched portions 64 relative to the base plane and the angle of inclination of the stretched portions 66 relative to the base plane.
Pour chaque fil 34, la position 3D de chaque point des portions tendues 64 et 66 du fil 34. La mire d'étalonnage 60 peut être utilisée de la même façon que la mire d'étalonnage 30. Un avantage de la mire d'étalonnage 60 est que la visibilité des fils 34 par toutes les caméras est augmentée lorsque la mire d'étalonnage 60 est balayée par le dispositif de projection P au cours d'une opération d'étalonnage. En particulier, dans le cas où seules les portions tendues 64 sont visibles par une première caméra et seules les deuxièmes portions tendues sont visibles par une deuxième caméra, la détermination de la transformation qui associe à chaque point de la première caméra un point de la deuxième caméra reste simple dans la mesure où les positions relatives entre les portions tendues 64 et les portions tendues 66 sont connues.  For each wire 34, the 3D position of each point of the tensioned portions 64 and 66 of the wire 34. The calibration pattern 60 may be used in the same manner as the calibration pattern 30. An advantage of the calibration pattern 60 is that the visibility of the wires 34 by all the cameras is increased when the calibration pattern 60 is scanned by the projection device P during a calibration operation. In particular, in the case where only the stretched portions 64 are visible by a first camera and only the second stretched portions are visible by a second camera, the determination of the transformation which associates at each point of the first camera a point of the second camera The camera remains simple in that the relative positions between the stretched portions 64 and the stretched portions 66 are known.
Des modes de réalisation particuliers ont été décrits. Diverses variantes et modifications apparaîtront à l'homme de l'art. En particulier, bien que dans le mode de réalisation de la mire d'étalonnage 60 représentée en figure 9, chaque fil forme à la fois la portion tendue 64 et la portion tendue 66, il est clair que les portions tendues 64 peuvent être formées par des premiers fils et les portions tendues 66 peuvent être formées par des deuxièmes fils différents des premiers fils.  Particular embodiments have been described. Various variations and modifications will be apparent to those skilled in the art. In particular, although in the embodiment of the calibration chart 60 shown in FIG. 9, each wire forms both the stretched portion 64 and the stretched portion 66, it is clear that the stretched portions 64 can be formed by first wires and tensioned portions 66 may be formed by second wires different from the first wires.

Claims

W O 2019/22443 j - mire à fils PCT/FR2019/050838 19 REVENDICATIONS WO 2019/22443 PCT / FR2019 / 050838 Thread Scale CLAIMS
1. Procédé d'étalonnage géométrique d'une première caméra (C) d'un système (15) de détermination d'images tridimensionnelles comprenant la projection par un dispositif de projection (P) d'un faisceau lumineux sur une mire d'étalonnage (30 ; 60) comprenant des fils (34) réfléchissant au moins partiellement le faisceau lumineux et fixés à un support (32), le support délimitant une ouverture traversante (38) , chaque fil comprenant une portion tendue (39 ; 64, 66) en vis-à-vis deA method of geometrically calibrating a first camera (C) of a three-dimensional image determining system (15) comprising projecting by a projection device (P) a light beam onto a calibration target (30; 60) comprising wires (34) at least partially reflecting the light beam and attached to a support (32), the support defining a through opening (38), each wire comprising a tensioned portion (39; 64,66) vis-à-vis
1 ' ouverture traversante . 1 'through opening.
2. Procédé selon la revendication 1, comprenant les étapes suivantes :  The method of claim 1, comprising the steps of:
acquérir des images bidimensionnelles (I) de la mire d'étalonnage (30 ; 60) par la première caméra (C) , le faisceau lumineux étant projeté par le dispositif de projection (P) sur la mire d'étalonnage ; et  acquiring two-dimensional images (I) of the calibration pattern (30; 60) by the first camera (C), the light beam being projected by the projection device (P) onto the calibration pattern; and
déplacer relativement la mire d'étalonnage par rapport à l'ensemble comprenant la première caméra (C) et le dispositif de projection (P) entre les acquisitions d'au moins deux des images bidimensionnelles.  relatively moving the calibration pattern relative to the assembly comprising the first camera (C) and the projection device (P) between the acquisitions of at least two of the two-dimensional images.
3. Procédé selon la revendication 2, comprenant en outre la détection, sur chaque image bidimensionnelle acquise (I), de taches lumineuses (50) correspondant à l'intersection du faisceau lumineux et des portions tendues (39 ; 64, 66) des fils (34) .  The method of claim 2, further comprising detecting, on each acquired two-dimensional image (I), light spots (50) corresponding to the intersection of the light beam and stretched portions (39; 64,66) of the wires. (34).
4. Procédé selon la revendication 3, comprenant en outre l'attribution, pour chaque tache lumineuse (50), de la tache lumineuse à l'un des fils (34).  The method of claim 3, further comprising assigning, for each light spot (50), the light spot to one of the wires (34).
5. Procédé selon l'une quelconque des revendications 2 à 4, comprenant en outre l'acquisition d'images bidimensionnelles (I) de la mire d'étalonnage (30 ; 60) par une deuxième caméra simultanément aux acquisitions d'images bidimensionnelles par la première caméra. W O 2019/22443 j - mire à fils PCT/FR2019/050838 The method according to any one of claims 2 to 4, further comprising acquiring two-dimensional images (I) of the calibration pattern (30; 60) by a second camera simultaneously with two-dimensional image acquisitions by the first camera. WO 2019/22443 j - sight to son PCT / FR2019 / 050838
20 20
6. Procédé selon l'une quelconque des revendications 1 à 5, dans lequel l'épaisseur du faisceau dans au moins une direction est inférieure à 200 ym.  The method of any one of claims 1 to 5, wherein the thickness of the beam in at least one direction is less than 200 μm.
7. Mire d'étalonnage (30 ; 60) pour l'étalonnage géométrique d'une caméra (C) d'un système (15) de détermination d'images tridimensionnelles comprenant un dispositif de projection (P) d'un faisceau lumineux, la mire d'étalonnage comprenant des fils (34) réfléchissant au moins partiellement le faisceau lumineux et fixés à un support (32), le support délimitant une ouverture traversante (38) , chaque fil comprenant une première portion tendue (64, 66) en vis-à-vis de l'ouverture traversante .  7. Calibration pattern (30; 60) for the geometric calibration of a camera (C) of a system (15) for determining three-dimensional images comprising a projection device (P) of a light beam, the calibration pattern comprising wires (34) at least partially reflecting the light beam and attached to a support (32), the support defining a through aperture (38), each wire comprising a first tensioned portion (64, 66) in vis-à-vis the through opening.
8. Mire d'étalonnage selon la revendication 7, dans laquelle les premières portions tendues (39 ; 64, 66) des fils (34) sont parallèles.  8. Calibration pattern according to claim 7, wherein the first stretched portions (39; 64,66) of the threads (34) are parallel.
9. Mire d'étalonnage selon la revendication 7 ou 8, dans laquelle les premières portions tendues (39 ; 64, 66) des fils (34) sont coplanaires.  The calibration chart according to claim 7 or 8, wherein the first stretched portions (39; 64,66) of the wires (34) are coplanar.
10. Mire d'étalonnage selon l'une quelconque des revendications 7 à 9, dans laquelle les écarts entre les premières portions tendues (64, 66) des fils (34) de paires de fils adjacents sont identiques pour la majorité des paires de fils adjacents.  Calibration pattern according to any one of claims 7 to 9, wherein the gaps between the first stretched portions (64, 66) of the son (34) of adjacent pairs of yarns are identical for the majority of the pairs of yarns. adjacent.
11. Mire d'étalonnage selon l'une quelconque des revendications 7 à 10, dans laquelle chaque fil (34) comprend une deuxième portion tendue (66) non parallèle à la première portion tendue (64) dudit fil.  Calibration pattern according to any one of claims 7 to 10, wherein each wire (34) comprises a second tensioned portion (66) not parallel to the first stretched portion (64) of said wire.
12. Mire d'étalonnage selon la revendication 11, comprenant un dispositif (62) de modification de l'inclinaison entre la première portion tendue (64) et la deuxième portion tendue (66) pour chaque fil (34) .  Calibration pattern according to claim 11, comprising a device (62) for modifying the inclination between the first stretched portion (64) and the second stretched portion (66) for each wire (34).
PCT/FR2019/050838 2018-05-25 2019-04-09 Method for calibrating a camera of a system for determining three-dimensional images and calibration test chart WO2019224437A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR1800512A FR3081593B1 (en) 2018-05-25 2018-05-25 METHOD FOR CALIBRATING A CAMERA OF A THREE-DIMENSIONAL IMAGE DETERMINATION SYSTEM AND CALIBRATION SIGHT
FR1800512 2018-05-25

Publications (1)

Publication Number Publication Date
WO2019224437A1 true WO2019224437A1 (en) 2019-11-28

Family

ID=63637924

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/FR2019/050838 WO2019224437A1 (en) 2018-05-25 2019-04-09 Method for calibrating a camera of a system for determining three-dimensional images and calibration test chart

Country Status (2)

Country Link
FR (1) FR3081593B1 (en)
WO (1) WO2019224437A1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113452988A (en) * 2021-06-10 2021-09-28 江西晶浩光学有限公司 Target, three-dimensional camera module detection system based on target and detection method

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050270375A1 (en) * 2004-05-24 2005-12-08 Pierre Poulin Camera calibrating apparatus and method
US20050280709A1 (en) * 2004-06-18 2005-12-22 Japan Aerospace Exploration Agency Transparent camera calibration tool for camera calibration and calibration method thereof

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050270375A1 (en) * 2004-05-24 2005-12-08 Pierre Poulin Camera calibrating apparatus and method
US20050280709A1 (en) * 2004-06-18 2005-12-22 Japan Aerospace Exploration Agency Transparent camera calibration tool for camera calibration and calibration method thereof

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
DUANE C. BROWN: "Close-range camera calibration", PHOTOGRAMMETRIC ENGINEERING, 1 January 1971 (1971-01-01), pages 855, XP055516143, Retrieved from the Internet <URL:http://citeseerx.ist.psu.edu/viewdoc/summary?doi=10.1.1.14.6358> [retrieved on 20181017] *
POWER G J ET AL: "A NON-LINEAR TRANSFORM TECHNIQUE FOR A CAMERA AND LASER 3-D SCANNER", NATIONAL AEROSPACE AND ELECTRONICS CONFERENCE (NAECON). DAYTON, MAY 22 - 26, 1995; [NATIONAL AEROSPACE AND ELECTRONICS CONFERENCE (NAECON)], NEW YORK, IEEE, US, vol. 2 OF 02, 22 May 1995 (1995-05-22), pages 843 - 850, XP000551049, ISBN: 978-0-7803-2667-5, DOI: 10.1109/NAECON.1995.522035 *
T. CLARKE: "Handbook of practical camera calibration methods and models - CHAPTER 5 - CAMERA CALIBRATION CASE STUDIES", 1 January 1999 (1999-01-01), XP055516141, Retrieved from the Internet <URL:http://robots.stanford.edu/cs223b04/JeanYvesCalib/papers/clarke_book/Handbook%20Chapter%205.pdf> [retrieved on 20181017] *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113452988A (en) * 2021-06-10 2021-09-28 江西晶浩光学有限公司 Target, three-dimensional camera module detection system based on target and detection method
CN113452988B (en) * 2021-06-10 2023-03-10 江西晶浩光学有限公司 Target, three-dimensional camera module detection system based on target and detection method

Also Published As

Publication number Publication date
FR3081593A1 (en) 2019-11-29
FR3081593B1 (en) 2020-05-29

Similar Documents

Publication Publication Date Title
EP0143012B1 (en) Installation to determine the spatial coordonates of points of a work piece
US7353954B1 (en) Tray flipper and method for parts inspection
US7397550B2 (en) Parts manipulation and inspection system and method
EP0279730B1 (en) Method and device for tridimensional measurement
JP2001521140A (en) 3D inspection system
US10551174B2 (en) Calibration method of image measuring device
JP5951793B2 (en) Image sensor position detector
US20150192528A1 (en) Method and apparatus for determining coplanarity in integrated circuit packages
FR3004582A1 (en) SYSTEM AND METHOD FOR OPTICALLY INSPECTING ELECTRONIC CIRCUITS
TWI661176B (en) Three-dimensional measurement device, three-dimensional measurement method, and manufacturing method of substrate
WO2019224437A1 (en) Method for calibrating a camera of a system for determining three-dimensional images and calibration test chart
FR2842591A1 (en) DEVICE FOR MEASURING VARIATIONS IN THE RELIEF OF AN OBJECT
FR2569838A1 (en) MEASURING DEVICE FOR DETERMINING THE RELATIVE POSITION OF TWO BODIES
WO2010072912A1 (en) Device for three-dimensional scanning with dense reconstruction
CA2198022C (en) Method for the correlation of three dimensional measurements obtained by image capturing units and system for carrying out said method
WO2018100267A1 (en) System and method for the positioning and optical inspection of an object
EP3117181B1 (en) Method for determining three-dimensional images of an object
JP5280918B2 (en) Shape measuring device
FR2936614A1 (en) SETTING A REFLECTION MICROSCOPE
WO2014118469A1 (en) System for determining a three-dimensional image of an electric circuit
JP3848586B2 (en) Surface inspection device
WO2019224436A1 (en) System for determining three-dimensional images
WO2020229780A1 (en) Method and system for optically inspecting an object
FR2554578A1 (en) METHOD FOR MEASURING DEFORMATIONS OF A SIGHT AND APPARATUS IMPLEMENTING THE METHOD
FR2803029A1 (en) Photographic method for taking images for photogrammetric measurements in a cavity such as a tunnel or an underground gallery, in which common marker points are placed on the wall that show up in all images

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19726042

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19726042

Country of ref document: EP

Kind code of ref document: A1