WO2019224436A1 - Systeme de determination d'images tridimensionnelles - Google Patents

Systeme de determination d'images tridimensionnelles Download PDF

Info

Publication number
WO2019224436A1
WO2019224436A1 PCT/FR2019/050837 FR2019050837W WO2019224436A1 WO 2019224436 A1 WO2019224436 A1 WO 2019224436A1 FR 2019050837 W FR2019050837 W FR 2019050837W WO 2019224436 A1 WO2019224436 A1 WO 2019224436A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
period
images
point
height
Prior art date
Application number
PCT/FR2019/050837
Other languages
English (en)
Inventor
Loïc BOISSON
Romain Roux
Original Assignee
Vit
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Vit filed Critical Vit
Priority to EP19721004.0A priority Critical patent/EP3803792A1/fr
Priority to US17/250,097 priority patent/US20210215476A1/en
Publication of WO2019224436A1 publication Critical patent/WO2019224436A1/fr

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2513—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with several lines being projected in more than one direction, e.g. grids, patterns
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2545—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with one projection direction and several detection directions, e.g. stereo
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30141—Printed circuit board [PCB]

Definitions

  • the present invention generally relates to optical inspection installations comprising in particular three-dimensional (3D) image determination systems intended for online analysis of objects, in particular electronic circuits.
  • the invention more particularly relates to optical inspection installations comprising digital cameras.
  • An optical inspection facility is generally used to check the condition of an object, such as an electronic circuit, before it is placed on the market.
  • the optical inspection facility can provide a 3D image of the object that is automatically scanned by computer and / or by an operator for potential defects.
  • a 3D image of an object corresponds to a cloud of points, for example several million points, of at least a portion of the outer surface of the object in which each point of the surface is located by its coordinates determined relative to a three-dimensional space marker.
  • the optical inspection facility generally includes a processing module adapted to perform an automatic analysis of the images of the object to search for any defects. This is for example done by comparing the image of the object to a reference image.
  • a processing module adapted to perform an automatic analysis of the images of the object to search for any defects. This is for example done by comparing the image of the object to a reference image.
  • the images of the electronic circuit can be used in particular to inspect the good state of the welds of the electronic components on the printed circuit.
  • a method of determining a 3D image comprises the projection of light patterns on the object to be inspected, for example fringes, the acquisition of images by cameras while the light patterns are projected onto the object to be inspected and the determination of the 3D image from the acquired images.
  • each point of the 3D image may comprise a height coordinate with respect to this reference plane.
  • the object to be inspected may include parts of a translucent material. This may be particularly the case when the object comprises a printed circuit whose card on which are welded electronic components is a translucent material.
  • a disadvantage of a method of determining a 3D image by projection of light patterns on such an object is that the projected patterns can partially penetrate the translucent parts of the object. The 3D image of these translucent parts can then be determined incorrectly.
  • the height coordinate of a point of a translucent portion may be less than the value which should have been determined.
  • An object of an embodiment is to overcome at least in part the disadvantages of the methods of determining a 3D image and the 3D image determination systems described above.
  • Another object of an embodiment is to detect the presence of the translucent parts of an object.
  • Another object of an embodiment is that the 3D image of an object comprising translucent portions is determined correctly.
  • Another object of an embodiment is to cause few changes with respect to a known method of determining a 3D image.
  • an embodiment provides a method for determining a three-dimensional image of an object, comprising:
  • each first projected image comprising first light patterns spaced apart from a first period
  • each second projected image comprising second light patterns spaced apart from a second period different from the first period
  • detecting at least one translucent zone of the object by comparing first signals obtained from the first images and second signals obtained from the second images, and, for the translucent zone, determining the height of each point of the translucent zone from the first and second signals.
  • the method further comprises:
  • each third projected image comprising third light patterns spaced apart from a third period different from the first period and different from the second period;
  • the first patterns are periodic in a given direction, with a period equal to the first period between 1 mm and 15 mm.
  • the first light patterns comprise first light fringes.
  • the second units are periodic in the given direction, with a period equal to the second period between 1 mm and 15 mm.
  • the second luminous patterns comprise second luminous fringes.
  • the first fringes are straight and parallel and the second fringes are straight and parallel.
  • the first patterns are not periodic, the first period corresponding to the average distance between the first patterns.
  • the method comprises determining a first height for each point of the object from the first images, determining a second height for each point of the object from the second images, detecting at least one translucent zone of the object by comparing the first and second heights and determining, for each point of the translucent zone, a third height for said point from the first and second heights for said point and the first and second periods.
  • the first light patterns are out of phase from a first image projected to the next and the second light patterns are out of phase with a second image projected to the next.
  • An embodiment also provides a system for determining three-dimensional images of an object, comprising:
  • At least one projector configured to project a plurality of first images onto the object, each first projected image comprising first light patterns spaced apart from a first period, and a plurality of second images on the object, each second projected image including spaced apart second light patterns a second period different from the first period;
  • At least one image sensor configured to acquire, for each first projected image, at least a first two-dimensional image of the object and, for each second projected image, at least a second two-dimensional image of the object;
  • a module configured to detect at least one translucent zone of the object by comparing first signals obtained from the first images and second signals obtained from the second images, and, for the translucent zone, to determine the height of each point of the translucent zone from the first and second signals.
  • the system comprises a digital image supply module and the projector is adapted to project said multiple images onto the object, each said images being formed by the projector from one of said digital images.
  • Figures 1 and 2 show, partially and schematically, an embodiment of an optical circuit inspection system electronic
  • Figure 3 is a partial sectional and schematic sectional view of a 3D image of a printed circuit comprising no translucent parts
  • Figure 4 is a partial sectional and schematic view of the 3D image of the printed circuit of Figure 2 in the presence of translucent parts;
  • FIG. 5 represents an example of light patterns that can be projected when determining a 3D image of an object
  • FIG. 6 schematically represents the determined heights of points of a 3D image of a translucent object by projecting periodic light patterns with three different periods;
  • FIG. 7 represents the evolution of the bias of the height of the points of a 3D image of a translucent part of an object as a function of the period of the periodic luminous patterns projected onto the object;
  • FIGS. 8 and 9 show other examples of light patterns that can be projected during the determination of a 3D image of an object.
  • Fig. 10 is a block diagram of an embodiment of a method for determining a 3D image.
  • Figures 1 and 2 are respectively a front view and a top view, very schematic, of an embodiment of an inspection installation 10 of a Board electronic circuit.
  • the term "electronic circuit” is understood to mean either a set of electronic components interconnected via a support, the only support used to make this interconnection without the electronic components or the support without the electronic components but provided with means for fixing the electronic components.
  • the support is a printed circuit and the electronic components are fixed to the printed circuit by solder joints obtained by heating soldering paste blocks.
  • the term "electronic circuit” means the printed circuit alone (without electronic components or soldering paste blocks), the printed circuit provided with solder paste blocks and without electronic components, the printed circuit fitted with the dough blocks welding and electronic components before the heating operation or the printed circuit provided with electronic components attached to the printed circuit by the solder joints.
  • the electronic circuit board is placed on a conveyor 12, for example a flat conveyor.
  • the conveyor 12 is able to move the board circuit parallel to the direction (OY).
  • the conveyor 12 may comprise a set of belts and rollers driven by a rotating electric motor 14.
  • the conveyor 12 may comprise a linear motor moving a carriage on which rests the Board electronic circuit.
  • the board circuit corresponds, for example, to a rectangular board having a length and a width ranging from 50 mm to 550 mm.
  • the optical inspection facility 10 includes a system 15 for determining a 3D image of the Board electronic circuit.
  • the system 15 is adapted to determine a 3D image of the Board circuit by projection of images, for example fringes, on the circuit to be inspected.
  • the system 15 may comprise an image projection device P comprising at least one projector, a single projector P being represented in FIGS. 1 and 2.
  • the projector P is connected to a computer system 16 for controlling, acquiring and image processing, also called processing module 16 thereafter.
  • the projectors P can be substantially aligned in a direction parallel to the direction (OY).
  • the system 16 may comprise a computer or a microcontroller comprising a processor and a non-volatile memory in which instruction sequences are stored whose execution by the processor enables the system 16 to perform the desired functions.
  • the system 16 may correspond to a dedicated electronic circuit.
  • the electric motor 14 is further controlled by the system 16.
  • the system 15 further comprises an image acquisition device C comprising at least one camera, for example a digital camera.
  • an image acquisition device C comprising at least one camera, for example a digital camera.
  • a digital camera for example, two cameras C are shown in Figures 1 and 2.
  • Each camera C is connected to the computer system 16 for controlling, acquiring and processing images.
  • the camera C and the projector P can be aligned parallel to the direction (OX).
  • C cameras can be arranged on either side of the projector or projectors P, parallel to the direction (OX).
  • these groups may be substantially aligned parallel to the direction (OY).
  • the direction (OX) is parallel to a preferred direction of the image acquisition device C and / or the image projection device P.
  • the direction ( OX) may be parallel to the line passing through the optical center of the camera and the optical center of the projector and, when two cameras C are present, the direction (OX) may be parallel to the line passing through the optical centers of the cameras.
  • a two-dimensional image, or 2D image is a digital image acquired by one of the cameras C and corresponding to a matrix of pixels.
  • image refers to a 2D image.
  • the control means of the conveyor 12, the camera C and the projector P of the optical inspection system 10 described above are within the reach of those skilled in the art and are not described in more detail.
  • the direction of movement of the Board circuit may be a horizontal direction perpendicular to the direction (OY) shown in Figure 2.
  • the cameras C and the projector P are fixed and the electronic circuit Board is moved relative to the camera C and the projector P via the conveyor 12.
  • the electronic circuit Board is fixed and the camera or the cameras C and the projector P are moved relative to the electronic circuit Board by any suitable conveying device.
  • the system 15 is adapted to determine a 3D image of the Board circuit.
  • a 3D image of the board circuit corresponds to a cloud of points, for example several million points, of at least a portion of the outer surface of the board circuit in which each point of the surface is identified by its coordinates (x, y, z) determined with respect to a three-dimensional space mark RREF (OX, OY, OZ).
  • the plane (OX, OY) is called reference plane PIREF ⁇
  • the coordinate z of a point on the surface of the object then corresponds to the height of the point measured with respect to the reference plane PIREF
  • the reference plane PIREF corresponds to the plane containing the upper face or the lower face of the printed circuit.
  • the plane PIREF can be horizontal.
  • the direction (OZ) is perpendicular to the plane (OX, OY), that is to say perpendicular to the upper or lower face of the printed circuit.
  • FIG. 3 is an image corresponding to a sectional view of an exemplary circuit to be inspected obtained from a 3D image of the circuit.
  • FIG. 3 shows the substrate 20 of a printed circuit having planar and opposed lower and upper surfaces 21, 22 and a brazing paste pad 23 resting on the upper face 22 of the substrate 20.
  • the substrate 20 and the pad 23 are composed of radiation-emitting materials emitted by the projector P so that the 3D image correctly reproduces the external surfaces of the substrate 20 and the pad 23.
  • FIG. 4 is an image corresponding to a sectional view of the circuit having the same shape as that of the circuit shown in FIG. 3, with the difference that the substrate 20 is at least on the surface of a translucent material.
  • translucent materials used in the field of electronics and microelectronics are composite materials derived from epoxy resins, such as FR-4.
  • the radiation emitted by the projector P tends to partially penetrate the substrate 20 so that the 3D image which is determined with a conventional method of determining a 3D image may be incorrect for the substrate 20.
  • the substrate 20 appears finer than it is in reality and pad 23 appears thicker than it actually is.
  • the reference plane PIREF '1 at the determined height z of each point of the upper surface 22 of the translucent substrate 20 may comprise an error E, also called bias thereafter.
  • FIG. 5 represents an exemplary image 24 that can be projected by the projector P on the Board circuit for the determination of a 3D image.
  • the image 24 comprises a succession of straight, parallel and periodic light fringes.
  • the fringes 25 are perpendicular to the direction (OX) and appear with a spatial period T1 measured along the direction (OX).
  • the fringes 25 may have a light intensity that varies sinusoidally in the direction (OX).
  • the method of determining a 3D image may include the projection of several images of the type of the image
  • the period T1 is between 1 mm and 15 mm, which makes it possible to obtain a reconstruction depth of the same order of magnitude, according to the configuration of the system 15.
  • the longer the period T1 is large the higher the reconstruction noise, that is, the accuracy of the 3D image determination is small.
  • the inventors have demonstrated the existence of a dependence relation between the error E which occurs during the determination of the points of the 3D image belonging to a translucent part of the circuit and the period T of the images projected on the circuit for the determination of the 3D image.
  • FIG. 6 schematically represents the heights Z1, Z2, Z3 of points of a 3D image of the translucent substrate. determined by projecting images with sinusoidal light patterns M1, M2 and M3 for three different periods T1, T2 and T3.
  • the period T3 is strictly lower than the period T2 and the period T2 is strictly lower than the period T1.
  • the bias E3 obtained with the patterns M3 is strictly less than the bias E2 obtained with the patterns M2 and the bias E2 is strictly lower than the bias El obtained with the motifs M1.
  • FIG. 7 represents the evolution of the bias E of the height of the points of a 3D image of the translucent substrate as a function of the period T of the periodic light patterns projected on the substrate 20.
  • the inventors have shown that the bias E was substantially proportional to the period T light patterns projected on the substrate 20, which corresponds to the straight line D shown in Figure 7.
  • the line D can be determined by linear regression. The height corresponding to the zero bias can thus be found from the line D or directly by extrapolation from the values E1, E2 and E3.
  • the inventors have made numerous tests and have shown that for the translucent materials used in the field of electronics and microelectronics, there was a relationship close to the proportionality between the bias E and the period T of the light patterns projected on the object to inspect.
  • the inventors have demonstrated by numerous tests that a relationship close to the proportionality between the bias E and the period T of the light patterns projected on the object to be inspected is obtained regardless of the type of periodic patterns used. .
  • FIG. 8 represents another exemplary image 24 comprising luminous patterns 25 that can be projected during the determination of a 3D image of an object.
  • the straight fringes 25 are inclined with respect to the direction (OX).
  • each image projected for the determination of a 3D image comprises periodic patterns in a preferred direction.
  • the patterns correspond to periodic fringes the period of the patterns corresponds to the distance between two successive fringes.
  • the fringes shown are straight.
  • the light fringes 25 may follow parallel or substantially parallel broken lines, or parallel or substantially parallel curves.
  • the inventors have demonstrated by numerous tests that a relationship close to the proportionality between the bias E and the period T of the light patterns projected on the object to be inspected is also obtained even when the projected light patterns do not present. no periodic character but includes spaced apart light patterns, the average space between adjacent light patterns, optionally in a preferred direction, then corresponding to the period T described above.
  • Fig. 9 shows an embodiment of an image 24 in which the patterns comprise patches 25 randomly or pseudorandomly distributed.
  • the period of spots corresponding, for example, to the average distance separating the centers of two adjacent spots corresponds to the period T1 described above.
  • the curve of FIG. 7 was also obtained during the projection of the images of the type shown in FIG. 9 by applying a phase shift between two successive projections.
  • Fig. 10 is a block diagram of an embodiment of a method for determining a 3D image. The method comprises successive steps 30, 32, 34.
  • first images are projected onto the object to be inspected, each first image comprising light patterns having a first period T1.
  • the period T1 can be between 1 mm and 15 mm.
  • a plurality of first images are projected successively on the Board circuit. These first images differ from each other by a shift of the patterns in a preferred direction.
  • an offset corresponds to the displacement of the fringes 25 in the direction (OX).
  • a 2D image is acquired during the projection of each new first patterned image on the Board circuit.
  • the processing module 16 comprises a module for determining a digital image and the projector P is adapted to project an image obtained from this digital image.
  • the projector P is of the type comprising a lamp emitting a beam which is directed towards an optical engine.
  • the optical engine modulates the beam, according to the digital image, to form an image that is projected onto the board circuit.
  • the optical engine may comprise an active matrix.
  • the optical engine may comprise a matrix of liquid crystal shutters or shutter LCD (acronym for Liquid Crystal Display) which operates by transmission, the light beam passing through the shutter LCD.
  • the optical engine can implement the DLP technology (acronym for Digital Light Processing) which is based on the use of a device comprising a matrix of orientable micro-mirrors, the light beam reflected on these mirrors .
  • the optical engine can implement the LCoS (Liquid Crystal on Silicon) technology which relies on the use of a liquid crystal device, the light beam reflected on the device.
  • the optical engine can implement the GLV technology (acronym for Grating Light Valve) which relies on the use of a dynamically adjustable diffraction grating based on reflective tapes.
  • the projector P can implement at least one laser beam which is modulated according to the digital image, the image being obtained by a matrix scan of the modulated laser beam.
  • the projected images can be obtained simply by modifying the digital image which controls the projector P.
  • step 32 second images are projected onto the object to be inspected, each second image comprising the same type of light patterns as the first images but with a second period T2 different from the first period T1.
  • the period T2 can be between 1 mm and 15 mm.
  • a plurality of second images with the patterns having the second period are successively projected onto the Board circuit. These second images differ from each other by a shift of the patterns having the second period in a preferred direction.
  • a 2D image is acquired during the projection of each new second image with light patterns on the Board circuit.
  • at least one of the periods T1 or T2 is chosen to have the desired depth of reconstruction.
  • Step 32 may be repeated once or more than once with different periods.
  • step 34 the processing module 16 determines a corrected 3D image of the Board circuit.
  • the processing module 16 determines a first 3D image from the images acquired in step 30 and a second 3D image from the images acquired in step 32. The processing module 16 then compares the first and second 3D images, for example by determining for each point of the 3D image, the difference between the height ZI of the first 3D image and the Z2 height of the second 3D image. For the opaque portions of the board circuit, the difference between the heights Z1 and Z2 is substantially zero, for example less than a given threshold. For the translucent parts of the board circuit, the difference between the heights Z1 and Z2 is not zero, for example greater than a given threshold. The processing module 16 thus determines the translucent parts of the board circuit. For each point of the translucent parts, the processing module 16 can determine the actual height Z, for example by extrapolation, from the heights Z1 and Z2 and the periods T1 and T2, considering that the relation between the height and the period is substantially linear.
  • the determination of the presence of translucent parts is carried out before the completion of the method of determining the first and second 3D images, which would normally be obtained with the first images and the second images, from first intermediate data. used for determining the first 3D image and second intermediate data used for determining the second 3D image.
  • the difference between the first intermediate data and the second intermediate data is determined.
  • the difference between the first and second intermediate data is substantially zero, for example less than a given threshold.
  • the difference between the first and second intermediate data is not zero, for example greater than a given threshold.
  • the processing module 16 thus determines the translucent parts of the board circuit.
  • a corrected intermediate data determination is made for the translucent parts and a corrected 3D image for the translucent parts is determined directly from the corrected intermediate data.
  • each point Q j of the scene corresponds a point qi in the image plane of the camera C and a point 3 ⁇ 4 in the image plane of the projector P.
  • An associated reference frame RQ (OQ, C ', U', Z ') is considered.
  • OQ is the optical center of the camera C
  • the direction Z ' is parallel to the optical axis of the camera C and the directions X' and Y 'are perpendicular to each other and perpendicular to the direction Z' .
  • RQ to simplify the description that follows, we can consider in a way that approximrmatrve that porn the coordinates (U j , V j , IQ) where IQ is the focal length of the camera C.
  • Rp (Op, X “, Y", Z ) associated with the projector P in which Op is the the optical center of the headlamp P, the direction Z "is parallel to the optical axis of the headlamp P and the directions X" and Y “are perpendicular to each other and perpendicular to the direction Z"
  • the point p qi has the coordinates ( p U j , p V j , fp) where fp is the focal length of the projector P.
  • Each point Q corresponds to the intersection of a line DQ associated with the camera C and a line Dp associated with the headlight
  • I c ( C q 1 (Z 1)) A (Z 1) + B (Z 1) cos (pi (Z 1) (2)
  • a (z-j_) is the luminous intensity of the background at the point Q j of the image
  • B (z-j_) represents the amplitude between the minimum and maximum intensities at the point Q j of the projected image.
  • the projector P successively projects N different images on the circuit, where N is a natural number strictly greater than 1, preferably greater than or equal to 4, for example equal to 8.
  • a phase shift of 2n / N is applied for each new first or second projected image relative to the previous first or second projected image.
  • the luminous intensity lf ( C c [i ( z i)), measured by the pixel at the point 3 ⁇ 4 for the dth image acquired by the camera corresponding to the point Q j follows the following relation (3):
  • d is an integer that varies between 0 and N-1.
  • the vector ⁇ (Zi) is defined according to the following relation (4):
  • phase cp_ (z-j) may correspond to the intermediate data used.
  • a literal expression of the height z-j can generally be obtained.
  • An example of expression of the height zy will be described in a particular configuration in which the projector P and the camera C are of telecentric type and in which the following conditions are fulfilled:
  • optical axes of the projector P and the camera C are coplanar
  • the projected images are of the type shown in FIG. 5, i.e. they include straight fringes which extend perpendicular to the direction (OX) and whose amplitude varies sinusoidally; and
  • the lines Dp are perpendicular to the plane PIREF and the lines DQ make an angle Q with the plane PIREF
  • the point Q Î coordinate REF (X ⁇ Y Î Î REF REF ⁇ 0) is the point of PIREF reference plane associated with the point 3 ⁇ 4 of the camera C.
  • pUi a (pi (Zi) + b (7)
  • a and b are real numbers, a being equal to p ] _ / 2n with p ] _ corresponding to the pitch of the sinusoidal fringes 25.
  • the height zy can be used.
  • Particular embodiments have been described.
  • Various variations and modifications will be apparent to those skilled in the art.
  • the determination of the 3D image can be implemented by a triangulation process using at least two cameras.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Optics & Photonics (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

L'invention concerne un procédé de détermination d'une image tridimensionnelle d'un objet (Board), comprenant la projection de plusieurs premières images sur l'objet, chaque première image projetée comprenant des premiers motifs lumineux espacés d'une première période; l'acquisition, pour chaque première image projetée, d'une première image bidimensionnelle de l'objet; la projection de plusieurs deuxièmes images sur l'objet, chaque deuxième image projetée comprenant des deuxièmes motifs lumineux espacés d'une deuxième période différente de la première période; l'acquisition, pour chaque deuxième image projetée, d'une deuxième image bidimensionnelle de l'objet;et la détection d'une zone translucide de l'objet par comparaison de premiers signaux obtenus à partir des premières images et de deuxièmes signaux obtenus à partir des deuxièmes images, et, pour la zone translucide, la détermination de la hauteur de chaque point de la zone translucide à partir des premiers et deuxièmes signaux.

Description

SYSTEME DE DETERMINATION D’IMAGES TRIDIMENSIONNELLES
La présente demande de brevet revendique la priorité de la demande de brevet français FR18/00513 qui sera considérée comme faisant partie intégrante de la présente description.
Domaine
La présente invention concerne de façon générale les installations d'inspection optique comprenant notamment des systèmes de détermination d'images tridimensionnelles (3D) destinés à l'analyse en ligne d'objets, notamment de circuits électroniques. L'invention concerne plus particulièrement les installations d'inspection optique comprenant des caméras numériques .
Exposé de l ' art antérieur
Une installation d'inspection optique est généralement utilisée pour vérifier le bon état d'un objet, par exemple un circuit électronique, avant sa mise sur le marché. L'installation d'inspection optique peut fournir une image 3D de l'objet qui est analysée de façon automatique par ordinateur et/ou par un opérateur pour rechercher d'éventuels défauts. Une image 3D d'un objet correspond à un nuage de points, par exemple plusieurs millions de points, d'au moins une partie de la surface extérieure de l'objet dans lequel chaque point de la surface est repéré par ses coordonnées déterminées par rapport à un repère d'espace à trois dimensions.
L'installation d'inspection optique comprend généralement un module de traitement adapté à réaliser une analyse automatique des images de l'objet pour rechercher d'éventuels défauts . Ceci est par exemple effectué en comparant 1 ' image de l'objet à une image de référence. Dans le cas d'un circuit électronique comprenant, par exemple, un circuit imprimé sur lequel sont fixés des composants électroniques, les images du circuit électronique peuvent être utilisées notamment pour inspecter le bon état des soudures des composants électroniques sur le circuit imprimé.
Un procédé de détermination d'une image 3D comprend la projection de motifs lumineux sur l'objet à inspecter, par exemple des franges, l'acquisition d'images par des caméras alors que les motifs lumineux sont projetés sur l'objet à inspecter et la détermination de l'image 3D à partir des images acquises. En particulier, dans le cas où l'objet est posé sur un plan de référence horizontal, chaque point de l'image 3D peut comprendre une coordonnée de hauteur par rapport à ce plan de référence.
L'objet à inspecter peut comprendre des parties en un matériau translucide. Cela peut être notamment le cas lorsque l'objet comprend un circuit imprimé dont la carte sur laquelle sont soudés des composants électroniques est en un matériau translucide .
Un inconvénient d'un procédé de détermination d'une image 3D par projection de motifs lumineux sur un tel objet est que les motifs projetés peuvent pénétrer partiellement dans les parties translucides de l'objet. L'image 3D de ces parties translucides peut alors être déterminée de façon incorrecte. En particulier, dans le cas où il est déterminé, pour chaque point de l'objet, une coordonnée de hauteur par rapport à un plan de référence, la coordonnée de hauteur d'un point d'une partie translucide peut être inférieure à la valeur qui aurait dû être déterminée . Résumé
Un objet d'un mode de réalisation est de pallier au moins en partie les inconvénients des procédés de détermination d'une image 3D et les systèmes de détermination d'une image 3D décrits précédemment.
Un autre objet d'un mode de réalisation est de détecter la présence des parties translucides d'un objet.
Un autre objet d'un mode de réalisation est que l'image 3D d'un objet comprenant des parties translucides soit déterminée de façon correcte.
Un autre objet d'un mode de réalisation est d'entraîner peu de modifications par rapport à un procédé connu de détermination d'une image 3D.
Ainsi, un mode de réalisation prévoit un procédé de détermination d'une image tridimensionnelle d'un objet, comprenant :
la projection par au moins un projecteur de plusieurs premières images sur l'objet, chaque première image projetée comprenant des premiers motifs lumineux espacés d'une première période ;
l'acquisition, pour chaque première image projetée, d'au moins une première image bidimensionnelle de l'objet par au moins un capteur d'images ;
la projection par ledit au moins un projecteur de plusieurs deuxièmes images sur l'objet, chaque deuxième image projetée comprenant des deuxièmes motifs lumineux espacés d'une deuxième période différente de la première période ;
l'acquisition, pour chaque deuxième image projetée, d'au moins une deuxième image bidimensionnelle de l'objet par ledit au moins un capteur d'images ; et
la détection d'au moins une zone translucide de l'objet par comparaison de premiers signaux obtenus à partir des premières images et de deuxièmes signaux obtenus à partir des deuxièmes images, et, pour la zone translucide, la détermination de la hauteur de chaque point de la zone translucide à partir des premiers et deuxièmes signaux.
Selon un mode de réalisation, le procédé comprend en outre :
la projection par ledit au moins un projecteur de plusieurs troisièmes images sur l'objet, chaque troisième image projetée comprenant des troisièmes motifs lumineux espacés d'une troisième période différente de la première période et différente de la deuxième période ;
l'acquisition, pour chaque troisième image projetée, d'au moins une troisième image bidimensionnelle de l'objet par ledit au moins un capteur d'images ; et
la détermination, pour la zone translucide, de la hauteur de chaque point de la zone translucide à partir des premiers et deuxièmes signaux et de troisièmes signaux obtenus à partir des troisièmes images.
Selon un mode de réalisation, les premiers motifs sont périodiques selon une direction donnée, de période égale à la première période comprise entre 1 mm et 15 mm.
Selon un mode de réalisation, les premiers motifs lumineux comprennent des premières franges lumineuses.
Selon un mode de réalisation, les deuxièmes motifs sont périodiques selon la direction donnée, de période égale à la deuxième période comprise entre 1 mm et 15 mm.
Selon un mode de réalisation, les deuxièmes motifs lumineux comprennent des deuxièmes franges lumineuses.
Selon un mode de réalisation, les premières franges sont droites et parallèles et les deuxièmes franges sont droites et parallèles .
Selon un mode de réalisation, les premiers motifs ne sont pas périodiques, la première période correspondant à l'écart moyen entre les premiers motifs.
Selon un mode de réalisation, le procédé comprend la détermination d'une première hauteur pour chaque point de l'objet à partir des premières images, la détermination d'une deuxième hauteur pour chaque point de l'objet à partir des deuxièmes images, la détection d'au moins une zone translucide de l'objet par comparaison des premières et deuxièmes hauteurs et la détermination, pour chaque point de la zone translucide, d'une troisième hauteur pour ledit point à partir des première et deuxième hauteurs pour ledit point et des première et deuxième périodes .
Selon un mode de réalisation, les premiers motifs lumineux sont déphasés d'une première image projetée à la suivante et les deuxièmes motifs lumineux sont déphasés d'une deuxième image projetée à la suivante.
Un mode de réalisation prévoit également un système de détermination d'images tridimensionnelles d'un objet, comprenant :
au moins un projecteur configuré pour projeter plusieurs premières images sur l'objet, chaque première image projetée comprenant des premiers motifs lumineux espacés d'une première période, et plusieurs deuxièmes images sur l'objet, chaque deuxième image projetée comprenant des deuxièmes motifs lumineux espacés d'une deuxième période différente de la première période ;
au moins un capteur d'images configuré pour acquérir, pour chaque première image projetée, au moins une première image bidimensionnelle de l'objet et, pour chaque deuxième image projetée, au moins une deuxième image bidimensionnelle de 1 ' obj et ; et
un module configuré pour détecter au moins une zone translucide de l'objet par comparaison de premiers signaux obtenus à partir des premières images et de deuxièmes signaux obtenus à partir des deuxièmes images, et, pour la zone translucide, pour déterminer la hauteur de chaque point de la zone translucide à partir des premiers et deuxièmes signaux.
Selon un mode de réalisation, le système comprend un module de fourniture d'images numériques et le projecteur est adapté à projeter lesdites plusieurs images sur l'objet, chacune desdites images étant formée par le projecteur à partir de l'une desdites images numériques.
Brève description des dessins
Ces caractéristiques et avantages, ainsi que d'autres, seront exposés en détail dans la description suivante de modes de réalisation particuliers faite à titre non limitatif en relation avec les figures jointes parmi lesquelles :
les figures 1 et 2 représentent, de façon partielle et schématique, un mode de réalisation d'une installation d'inspection optique de circuit électronique ;
la figure 3 est une vue en coupe, partielle et schématique, d'une image 3D d'un circuit imprimé ne comprenant pas de parties translucides ;
la figure 4 est une vue en coupe, partielle et schématique, de l'image 3D du circuit imprimé de la figure 2 en présence de parties translucides ;
la figure 5 représente un exemple de motifs lumineux pouvant être projetés lors de la détermination d'une image 3D d'un obj et ;
la figure 6 représente de façon schématique les hauteurs déterminées de points d'une image 3D d'un objet translucide en projetant des motifs lumineux périodiques avec trois périodes différentes ;
la figure 7 représente l'évolution du biais de la hauteur des points d'une image 3D d'une partie translucide d'un objet en fonction de la période des motifs lumineux périodiques projetés sur l'objet ;
les figures 8 et 9 représentent d'autres exemples de motifs lumineux pouvant être projetés lors de la détermination d'une image 3D d'un objet ; et
la figure 10 est un schéma par blocs d'un mode de réalisation d'un procédé de détermination d'une image 3D.
Description détaillée
Par souci de clarté, de mêmes éléments ont été désignés par de mêmes références aux différentes figures et, de plus, les diverses figures ne sont pas tracées à l'échelle. Sauf précision contraire, les expressions "environ", "approximativement" et "sensiblement" signifient à 10 % près, de préférence à 5 % près. En outre, seuls les éléments utiles à la compréhension de la présente description ont été représentés et sont décrits.
Dans la suite de la description, des modes de réalisation vont être décrits dans le cas de l'inspection optique de circuits électroniques. Toutefois, ces modes de réalisation peuvent s'appliquer à la détermination d'images tridimensionnelles de tous types d'objets, notamment pour l'inspection optique de pièces mécaniques. On appelle (OX) et (OY) deux directions perpendiculaires. A titre d'exemple, la direction (OX) est horizontale.
Les figures 1 et 2 sont respectivement une vue de face et une vue de dessus, très schématiques, d'un mode de réalisation d'une installation 10 d'inspection d'un circuit électronique Board. On entend par circuit électronique indifféremment un ensemble de composants électroniques interconnectés par l'intermédiaire d'un support, le support seul utilisé pour réaliser cette interconnexion sans les composants électroniques ou le support sans les composants électroniques mais muni de moyens de fixation des composants électroniques. A titre d'exemple, le support est un circuit imprimé et les composants électroniques sont fixés au circuit imprimé par des joints de soudure obtenus par chauffage de blocs de pâte à souder. Dans ce cas, on entend par circuit électronique indifféremment le circuit imprimé seul (sans composants électroniques, ni blocs de pâte à souder) , le circuit imprimé muni des blocs de pâte à souder et sans composants électroniques, le circuit imprimé muni des blocs de pâte à souder et des composants électroniques avant l'opération de chauffage ou le circuit imprimé muni des composants électroniques fixés au circuit imprimé par les joints de soudure.
Le circuit électronique Board est placé sur un convoyeur 12, par exemple un convoyeur plan. Le convoyeur 12 est susceptible de déplacer le circuit Board parallèlement à la direction (OY) . A titre d'exemple, le convoyeur 12 peut comprendre un ensemble de courroies et de galets entraînés par un moteur électrique tournant 14. A titre de variante, le convoyeur 12 peut comprendre un moteur linéaire déplaçant un charriot sur lequel repose le circuit électronique Board. Le circuit Board correspond, par exemple, à une carte rectangulaire ayant une longueur et une largeur variant de 50 mm à 550 mm.
L'installation d'inspection optique 10 comprend un système 15 de détermination d'une image 3D du circuit électronique Board. Selon un mode de réalisation, le système 15 est adapté à déterminer une image 3D du circuit Board par projection d'images, par exemple des franges, sur le circuit à inspecter. Le système 15 peut comprendre un dispositif de projection d'images P comprenant au moins un projecteur, un seul projecteur P étant représenté sur les figures 1 et 2. Le projecteur P est relié à un système informatique 16 de contrôle, d'acquisition et de traitement d'images, également appelé module de traitement 16 par la suite. Lorsque plusieurs projecteurs P sont présents, les projecteurs P peuvent être sensiblement alignés selon une direction parallèle à la direction (OY) . Le système 16 peut comprendre un ordinateur ou un microcontrôleur comportant un processeur et une mémoire non volatile dans laquelle sont stockées des séquences d'instructions dont l'exécution par le processeur permet au système 16 de réaliser les fonctions souhaitées. A titre de variante, le système 16 peut correspondre à un circuit électronique dédié. Le moteur électrique 14 est, en outre, commandé par le système 16.
Le système 15 comporte, en outre, un dispositif d'acquisition d'images C comprenant au moins une caméra, par exemple une caméra numérique. A titre d'exemple, deux caméras C sont représentées sur les figures 1 et 2. Chaque caméra C est reliée au système informatique 16 de contrôle, d'acquisition et de traitement d'images. Lorsqu'une seule caméra C est présente, la caméra C et le projecteur P peuvent être alignés parallèlement à la direction (OX) . Lorsque plusieurs caméras C sont présentes, les caméras C peuvent être disposées de part et d'autre du projecteur ou des projecteurs P, parallèlement à la direction (OX) . Lorsque plusieurs groupes, comprenant chaque au moins un projecteur P et au moins une caméra C associée, sont présents, ces groupes peuvent être sensiblement alignés parallèlement à la direction (OY) . La direction (OX) est parallèle à une direction privilégiée du dispositif d'acquisition d'images C et/ou du dispositif de projection d'image P. A titre d'exemple, lorsqu'une seule caméra C est présente, la direction (OX) peut être parallèle à la droite passant par le centre optique de la caméra et le centre optique du projecteur et, lorsque deux caméras C sont présentes, la direction (OX) peut être parallèle à la droite passant par les centres optiques des caméras . Dans la suite de la description, on appelle image bidimensionnelle, ou image 2D, une image numérique acquise par l'une des caméras C et correspondant à une matrice de pixels. Dans la suite de la description, sauf indication contraire, le terme "image" fait référence à une image 2D.
Les moyens de commande du convoyeur 12, de la caméra C et du projecteur P du système d'inspection optique 10 décrit précédemment sont à la portée de l'homme de l'art et ne sont pas décrits plus en détail. A titre de variante, la direction de déplacement du circuit Board peut être une direction horizontale perpendiculaire à la direction (OY) représentée en figure 2. Dans le présent mode de réalisation, les caméras C et le projecteur P sont fixes et le circuit électronique Board est déplacé par rapport à la caméra C et au projecteur P par l'intermédiaire du convoyeur 12. A titre de variante, le circuit électronique Board est fixe et la caméra ou les caméras C et le projecteur P sont déplacés par rapport au circuit électronique Board par tout dispositif de convoyage adapté.
Le système 15 est adapté à déterminer une image 3D du circuit Board. Une image 3D du circuit Board correspond à un nuage de points, par exemple plusieurs millions de points, d'au moins une partie de la surface extérieure du circuit Board dans lequel chaque point de la surface est repéré par ses coordonnées (x, y, z) déterminées par rapport à un repère d'espace à trois dimensions RREF (OX, OY, OZ) . Dans la suite de la description, le plan (OX, OY) est appelé plan de référence PIREF· La coordonnée z d'un point de la surface de l'objet correspond alors à la hauteur du point mesurée par rapport au plan de référence PIREF· A titre d'exemple, le plan de référence PIREF correspond au plan contenant la face supérieure ou la face inférieure du circuit imprimé. Le plan PIREF peut être horizontal. De préférence, la direction (OZ) est perpendiculaire au plan (OX, OY) , c'est-à-dire perpendiculaire à la face supérieure ou inférieure du circuit imprimé.
La figure 3 est une image correspondant à une vue en coupe d'un exemple de circuit à inspecter obtenue à partir d'une image 3D du circuit. On a représenté à titre d'exemple en figure 3 le substrat 20 d'un circuit imprimé ayant des surfaces inférieure et supérieure 21, 22 planes et opposées et un plot 23 de pâte à braser reposant sur la face supérieure 22 du substrat 20. En figure 3, le substrat 20 et le plot 23 sont composés de matériaux opaques au rayonnement émis par le projecteur P de sorte que 1 ' image 3D reproduit correctement les surfaces externes du substrat 20 et du plot 23.
La figure 4 est une image correspondant une à vue en coupe du circuit ayant la même forme que celle du circuit représenté en figure 3 à la différence que le substrat 20 est au moins en surface en un matériau translucide. Des exemples de matériaux translucides utilisés dans le domaine de l'électronique et de la microélectronique sont des matériaux composites dérivés de la réside époxy, tel que le FR-4. Le rayonnement émis par le projecteur P tend à pénétrer partiellement dans le substrat 20 de sorte que l'image 3D qui est déterminée avec un procédé classique de détermination d'une image 3D peut être incorrecte pour le substrat 20. En figure 4, le substrat 20 apparaît plus fin qu'il n'est en réalité et le plot 23 apparaît plus épais qu'il n'est en réalité. Lorsque la coordonnée z d'un point de la surface du circuit correspond à la hauteur du point mesurée par rapport au plan de référence PIREF' la hauteur z déterminée de chaque point de la surface supérieure 22 du substrat translucide 20 peut comprendre une erreur E, appelée également biais par la suite.
La figure 5 représente un exemple d'image 24 pouvant être projetée par le projecteur P sur le circuit Board pour la détermination d'une image 3D. Dans cet exemple, l'image 24 comprend une succession de franges lumineuses 25 droites, parallèles et périodiques. Dans le présent exemple, lorsque l'image 24 représentée en figure 5 est projetée sur le plan de référence PIREF' les franges 25 sont perpendiculaires à la direction (OX) et apparaissent avec une période spatiale Tl mesurée selon la direction (OX) . Les franges 25 peuvent avoir une intensité lumineuse qui varie de façon sinusoïdale selon la direction (OX) . Le procédé de détermination d'une image 3D peut comprendre la projection de plusieurs images du type de l'image
24 qui diffèrent les unes des autres par un déphasage des franges
25 selon la direction (OX) . De façon générale, plus la période Tl est grande, plus la profondeur de reconstruction est grande, c'est-à-dire la taille de l'intervalle de hauteur sur lequel l'image 3D peut être déterminée par le procédé. Selon un mode de réalisation, la période Tl est comprise entre 1 mm et 15 mm, ce qui permet d'obtenir une profondeur de reconstruction du même ordre de grandeur, selon la configuration du système 15. Cependant, plus la période Tl est grande, plus le bruit de reconstruction est grand, c'est-à-dire que la précision de la détermination de l'image 3D est petite.
Les inventeurs ont mis en évidence l'existence d'une relation de dépendance entre l'erreur E qui se produit lors de la détermination des points de 1 ' image 3D appartenant à une partie translucide du circuit et la période T des images projetées sur le circuit pour la détermination de l'image 3D.
Les figures 6 et 7 illustrent cette relation de dépendance .
La figure 6 représente de façon schématique les hauteurs Zl, Z2, Z3 de points d'une image 3D du substrat translucide 20 déterminées en projetant des images avec des motifs lumineux sinusoïdaux Ml, M2 et M3 pour trois périodes différentes Tl, T2 et T3. La période T3 est inférieure strictement à la période T2 et la période T2 est inférieure strictement à la période Tl. Comme cela apparaît sur la figure 6, le biais E3 obtenu avec les motifs M3 est inférieur strictement au biais E2 obtenu avec les motifs M2 et le biais E2 est inférieur strictement au biais El obtenu avec les motifs Ml.
La figure 7 représente l'évolution du biais E de la hauteur des points d'une image 3D du substrat 20 translucide en fonction de la période T des motifs lumineux périodiques projetés sur le substrat 20. Les inventeurs ont mis en évidence que le biais E était sensiblement proportionnel à la période T des motifs lumineux projetés sur le substrat 20, ce qui correspond à la droite D représentée en figure 7. En particulier, pour une période de motifs égal à zéro, il n'y a pas de biais. La droite D peut être déterminée par régression linéaire. La hauteur correspondant au biais nul peut ainsi être trouvée à partir de la droite D ou directement par extrapolation à partir des valeurs El, E2 et E3.
Les inventeurs ont fait de nombreux essais et ont montré que pour les matériaux translucides utilisés dans le domaine de l'électronique et de la microélectronique, il y avait une relation proche de la proportionnalité entre le biais E et la période T des motifs lumineux projetés sur l'objet à inspecter.
En outre, les inventeurs ont mis en évidence par de nombreux essais qu'une relation proche de la proportionnalité entre le biais E et la période T des motifs lumineux projetés sur l'objet à inspecter est obtenue quel que soit le type de motifs périodiques utilisés.
La figure 8 représente un autre exemple d'image 24 comprenant des motifs lumineux 25 pouvant être projetés lors de la détermination d'une image 3D d'un objet. En figure 8, les franges droites 25 sont inclinées par rapport à la direction (OX) . La période Tl' correspond à la projection de la période Tl sur la direction (OX) . Selon un mode de réalisation, chaque image projetée pour la détermination d'une image 3D comprend des motifs périodiques selon une direction privilégiée. En particulier, lorsque les motifs correspondent à des franges périodiques, la période des motifs correspond à la distance entre deux franges successives. Dans les exemples représentés sur les figures 6 et 8, les franges représentées sont droites. De façon générale, les franges lumineuses 25 peuvent suivre des lignes brisées parallèles ou sensiblement parallèles, ou des courbes parallèles ou sensiblement parallèles .
En outre, les inventeurs ont mis en évidence par de nombreux essais qu'une relation proche de la proportionnalité entre le biais E et la période T des motifs lumineux projetés sur l'objet à inspecter est également obtenue même lorsque les motifs lumineux projetés ne présentent pas de caractère périodique mais comprend des motifs lumineux espacés, l'espace moyen entre motifs lumineux adjacents, éventuellement selon une direction privilégiée, correspondant alors à la période T décrite précédemment .
La figure 9 représente un mode de réalisation d'une image 24 dans lequel les motifs comprennent des taches 25 réparties de façon aléatoire ou pseudo-aléatoire. La période des taches 25 correspondant, par exemple, à la distance moyenne séparant les centres de deux taches adjacentes correspond à la période Tl décrite précédemment. La courbe de la figure 7 a également été obtenue lors de la projection des images du type de celle représentée en figure 9 en appliquant un déphasage entre deux projections successives.
La figure 10 est un schéma par blocs d'un mode de réalisation d'un procédé de détermination d'une image 3D. Le procédé comprend des étapes 30, 32, 34 successives.
A l'étape 30, des premières images sont projetées sur l'objet à inspecter, chaque première image comprenant des motifs lumineux ayant une première période Tl. La période Tl peut être comprise entre 1 mm et 15 mm. Dans le présent mode de réalisation de procédé de détermination d'une image 3D, à l'étape 30, plusieurs premières images sont projetées successivement sur le circuit Board. Ces premières images diffèrent les unes des autres par un décalage des motifs selon une direction privilégiée. A titre d'exemple, pour l'image 24 représentée en figure 5, un décalage correspond à déplacement des franges 25 selon la direction (OX) . Une image 2D est acquise lors de la projection de chaque nouvelle première image à motifs lumineux sur le circuit Board.
Selon un mode de réalisation, le module de traitement 16 comprend un module de détermination d'une image numérique et le projecteur P est adapté à projeter une image obtenue à partir de cette image numérique. Selon un mode de réalisation, le projecteur P est du type comprenant une lampe émettant un faisceau qui est dirigé vers un moteur optique. Le moteur optique module le faisceau, en fonction de l'image numérique, pour former une image qui est projetée sur le circuit Board. Le moteur optique peut comprendre une matrice active. A titre d'exemple, le moteur optique peut comprendre une matrice d'obturateurs à cristaux liquides ou obturateur LCD (acronyme anglais pour Liquid Cristal Display) qui fonctionne par transmission, le faisceau lumineux traversant l'obturateur LCD. A titre de variante, le moteur optique peut mettre en oeuvre la technologie DLP (acronyme anglais pour Digital Light Processing) qui repose sur l'utilisation d'un dispositif comprenant une matrice de micro-miroirs orientables, le faisceau lumineux se réfléchissant sur ces miroirs. A titre de variante, le moteur optique peut mettre en oeuvre la technologie LCoS (acronyme anglais pour Liquid Cristal on Silicon) qui repose sur l'utilisation d'un dispositif à cristaux liquides, le faisceau lumineux se réfléchissant sur le dispositif. Selon une autre variante, le moteur optique peut mettre en oeuvre la technologie GLV (acronyme anglais pour Grating Light Valve) qui repose sur l'utilisation d'un réseau de diffraction ajustable dynamiquement à base de rubans réflecteurs. Selon un autre mode de réalisation, le projecteur P peut mettre en oeuvre au moins un faisceau laser qui est modulé en fonction de l'image numérique, l'image étant obtenue par un balayage matriciel du faisceau laser modulé.
De façon avantageuse, lorsque le projecteur P est adapté à projeter une image obtenue à partir d'une image numérique, les images projetées peuvent être obtenues de façon simple en modifiant l'image numérique qui commande le projecteur P.
A l'étape 32, des deuxièmes images sont projetées sur l'objet à inspecter, chaque deuxième image comprenant le même type de motifs lumineux que les premières images mais avec une deuxième période T2 différente de la première période Tl. La période T2 peut être comprise entre 1 mm et 15 mm. Dans le présent mode de réalisation de procédé de détermination d'une image 3D, à l'étape 32, plusieurs deuxièmes images avec les motifs ayant la deuxième période sont projetées successivement sur le circuit Board. Ces deuxièmes images diffèrent les unes des autres par un décalage des motifs ayant la deuxième période selon une direction privilégiée. Une image 2D est acquise lors de la projection de chaque nouvelle deuxième image à motifs lumineux sur le circuit Board.
De façon générale, plus la période T est grande, plus la profondeur de reconstruction est grande, c'est-à-dire la taille de l'intervalle de hauteur sur lequel l'image 3D peut être déterminée par le procédé. De ce fait, au moins l'une des périodes Tl ou T2 est choisie pour avoir la profondeur de reconstruction souhaitée .
L'étape 32 peut être répétée une fois ou plus d'une fois avec des périodes différentes.
A l'étape 34, le module de traitement 16 détermine une image 3D corrigée du circuit Board.
Selon un mode de réalisation, le module de traitement 16 détermine une première image 3D à partir des images acquises à l'étape 30 et une deuxième image 3D à partir des images acquises à l'étape 32. Le module de traitement 16 compare alors les première et deuxième images 3D, par exemple en déterminant pour chaque point de l'image 3D, la différence entre la hauteur ZI de la première image 3D et la hauteur Z2 de la deuxième image 3D. Pour les parties opaques du circuit Board, la différence entre les hauteurs ZI et Z2 est sensiblement nulle, par exemple inférieure à un seuil donné. Pour les parties translucides du circuit Board, la différence entre les hauteurs ZI et Z2 n'est pas nulle, par exemple supérieure à un seuil donné. Le module de traitement 16 détermine ainsi les parties translucides du circuit Board. Pour chaque point des parties translucides, le module de traitement 16 peut déterminer la hauteur Z réelle, par exemple par extrapolation, à partir des hauteurs ZI et Z2 et des périodes Tl et T2 en considérant que la relation entre la hauteur et la période est sensiblement linéaire.
Un autre mode de réalisation de détermination d'une image 3D corrigée va maintenant être décrit. Dans ce mode de réalisation, la détermination de la présence de parties translucides est réalisée avant l'achèvement du procédé de détermination des première et deuxième images 3D, qui seraient normalement obtenues avec les premières images et les deuxièmes images, à partir de premières données intermédiaires utilisées pour la détermination de la première image 3D et de deuxièmes données intermédiaires utilisées pour la détermination de la deuxième image 3D. A titre d'exemple, il est déterminé la différence entre les premières données intermédiaires et les deuxièmes données intermédiaires. Pour les parties opaques du circuit Board, la différence entre les premières et deuxièmes données intermédiaires est sensiblement nulle, par exemple inférieure à un seuil donné. Pour les parties translucides du circuit Board, la différence entre les premières et deuxièmes données intermédiaires n'est pas nulle, par exemple supérieure à un seuil donné. Le module de traitement 16 détermine ainsi les parties translucides du circuit Board. Il est alors réalisé une détermination de données intermédiaires corrigées pour les parties translucides et une image 3D corrigée pour les parties translucides est déterminée directement à partir des données intermédiaires corrigées. Un mode de réalisation plus détaillé va maintenant être décrit pour un exemple particulier de procédé de détermination d'une image 3D.
A chaque point Qj de la scène correspond un point qi dans le plan image de la caméra C et un point ¾ dans le plan image du projecteur P. On considère un repère RQ (OQ, C', U', Z') associé à la caméra C dans lequel OQ est le centre optique de la caméra C, la direction Z' est parallèle à l'axe optique de la caméra C et les directions X' et Y' sont perpendiculaires entre elles et perpendiculaires à la direction Z'. Dans le repère RQ, pour simplifier la description qui va suivre, on peut considérer de façon approxrmatrve que le pornt
Figure imgf000019_0001
a les coordonnées ( Uj, Vj , ÎQ) OU ÎQ est la d stance focale de la caméra C. On consrdere un repère Rp (Op, X", Y", Z") associé au projecteur P dans lequel Op est le centre optique du projecteur P, la direction Z" est parallèle à l'axe optique du projecteur P et les directions X" et Y" sont perpendiculaires entre elles et perpendiculaires à la direction Z". Dans le repère Rp, pour simplifier la description qui va suivre, on peut considérer de façon approximative que le point pqi a les coordonnées ( pUj, pVj, fp) où fp est la distance focale du projecteur P.
De façon générale, en appelant Pp la matrice de projection du projecteur P et Pç la matrice de projection de la caméra C, on a le système d'équations (1) suivant pour chaque point Qi, noté en coordonnées homogènes :
f pqi (Zi) ~pPQi (Zi)
Figure imgf000019_0002
l cqi (Zi)~PcQi (Zi)
Chaque point Q; correspond à l'intersection d'une droite DQ associée à la caméra C et d'une droite Dp associée au projecteur
P.
A chaque point ¾ de l'image projetée par le projecteur P est associée une phase cpj_ ( z -j_ ) . L'intensité lumineuse Ie( cqi (Zj)) , mesurée par le prxel au pornt q^ de 1 ' mage acqurse par la caméra et correspondant au point Q;, suit la relation (2) suivante :
Ic ( Cqi (Zi)) = A(Zj) + B(Zi)cos(pi (Zi) ( 2 ) où A(z-j_) est l'intensité lumineuse du fond au point Qj de l'image et B(z-j_) représente l'amplitude entre les intensités minimale et maximale au point Qj de l'image projetée.
Selon un exemple, le projecteur P projette successivement N images différentes sur le circuit, où N est un nombre entier naturel strictement supérieur à 1, de préférence supérieur ou égal à 4, par exemple égal à 8.
Un déphasage de 2n/N est appliqué pour chaque nouvelle première ou deuxième image projetée par rapport à la précédente première ou deuxième image projetée. L'intensité lumineuse lf( Cc[i(zi)), mesurée par le pixel au point ¾ pour la d-ième image acquise par la caméra correspondant au point Qj, suit la relation (3) suivante :
Figure imgf000020_0001
où d est un nombre entier qui varie entre 0 et N-l.
On définit le vecteur ί(Zi) selon la relation (4) suivante :
Figure imgf000020_0003
Il s'agit d'un système d'équations linéaires. On montre que la phase cp-j_(z-j_) est donnée par la relation (5) suivante :
Pi(zi)= arctan
Figure imgf000020_0002
Selon le mode de réalisation décrit précédemment dans lequel des données intermédiaires sont utilisées pour la détermination des parties translucides, la phase cpj_ (z-j_) peut correspondre à la donnée intermédiaire utilisée.
Une expression littérale de la hauteur z-j_ peut généralement être obtenue. Un exemple d'expression de la hauteur zy va être décrit dans une configuration particulière dans laquelle le projecteur P et la caméra C sont de type télécentrique et dans laquelle les conditions suivantes sont remplies :
les axes optiques du projecteur P et de la caméra C sont coplanaires ;
les images projetées sont du type représentées en figure 5, c'est-à-dire qu'elles comprennent des franges 25 droites qui s'étendent perpendiculairement à la direction (OX) et dont l'amplitude varie de façon sinusoïdale ; et
les droites Dp sont perpendiculaires au plan PIREF et les droites DQ font un angle Q avec le plan PIREF·
Dans cette configuration, le système d'équations (1) peut alors se simplifier selon le système d'équations (6) suivant :
Figure imgf000021_0001
en considérant que le point QÎREF de coordonnées (XÎREF^ YÎREF^ 0) est le point du plan de référence PIREF associé au point ¾ de la caméra C.
Dans le plan image du projecteur P, l'abscisse pUj du point pqi suit, par exemple, la relation suivante (7) :
pUi=a(pi(Zi)+b (7) où a et b sont des nombres réels, a étant égal à p]_/2n avec p]_ correspondant au pas des franges sinusoïdales 25.
A partir des relations (6) et (7), on obtient la relation
(8) suivante :
Figure imgf000021_0002
où Fί (QÎREF) est égal à la phase au point QÎREF du plan de référence PlREF' c'est-à-dire à la phase en l'absence du circuit Board.
Selon le mode de réalisation décrit précédemment dans lequel les images 3D sont utilisées pour la détermination des parties translucides, la hauteur zy peut être utilisée. Des modes de réalisation particuliers ont été décrits. Diverses variantes et modifications apparaîtront à l'homme de l'art. En particulier, bien qu'un mode de réalisation ait été décrit dans lequel la détermination de l'image 3D est réalisée à partir d'un algorithme mettant en oeuvre la caméra et le projecteur, il est clair que la détermination de l'image 3D peut être mise en oeuvre par un procédé de triangulation mettant en oeuvre au moins deux caméras .

Claims

REVENDICATIONS
1. Procédé de détermination d'une image tridimensionnelle d'un objet (Board) , comprenant :
la projection par au moins un projecteur (P) de plusieurs premières images (24) sur l'objet, chaque première image projetée comprenant des premiers motifs lumineux (25) espacés d'une première période (Tl) ;
l'acquisition, pour chaque première image projetée, d'au moins une première image bidimensionnelle de l'objet par au moins un capteur d'images (C) ;
la projection par ledit au moins un projecteur de plusieurs deuxièmes images sur l'objet, chaque deuxième image projetée comprenant des deuxièmes motifs lumineux (25) espacés d'une deuxième période (T2) différente de la première période ;
l'acquisition, pour chaque deuxième image projetée, d'au moins une deuxième image bidimensionnelle de l'objet par ledit au moins un capteur d'images ; et
la détermination d'une première hauteur (Zl), ou d'une première donnée intermédiaire à partir de laquelle la première hauteur peut être déterminée, pour chaque point de l'objet à partir des premières images bidimensionnelles, la détermination d'une deuxième hauteur (Z2) , ou d'une deuxième donnée intermédiaire à partir de laquelle la deuxième hauteur peut être déterminée, pour chaque point de l'objet à partir des deuxièmes images bidimensionnelles, la détection d'au moins une zone translucide (20) de l'objet par comparaison des premières et deuxièmes hauteurs ou des première et deuxième données intermédiaires, et, pour chaque point de la zone translucide, la détermination d'une troisième hauteur pour ledit point à partir des première et deuxième hauteurs pour ledit point et des première et deuxième périodes ou d'une troisième donnée intermédiaire à partir de laquelle la troisième hauteur est déterminée pour ledit point à partir des première et deuxième données intermédiaires pour ledit point et des première et deuxième périodes .
2. Procédé selon la revendication 1, comprenant en outre :
la projection par ledit au moins un projecteur (P) de plusieurs troisièmes images (24) sur l'objet, chaque troisième image projetée comprenant des troisièmes motifs lumineux (25) espacés d'une troisième période (T3) différente de la première période (Tl) et différente de la deuxième période (T2) ;
l'acquisition, pour chaque troisième image projetée, d'au moins une troisième image bidimensionnelle de l'objet par ledit au moins un capteur d'images (C) ; et
la détermination, pour la zone translucide, de la hauteur de chaque point de la zone translucide à partir des premiers et deuxièmes signaux et de troisièmes signaux obtenus à partir des troisièmes images.
3. Procédé selon la revendication 1 ou 2, dans lequel les premiers motifs (25) sont périodiques selon une direction donnée, de période égale à la première période comprise entre 1 mm et 15 mm.
4. Procédé selon la revendication 3, dans lequel les premiers motifs lumineux (25) comprennent des premières franges lumineuses .
5. Procédé selon la revendication 3 ou 4, dans lequel les deuxièmes motifs (25) sont périodiques selon la direction donnée, de période égale à la deuxième période comprise entre 1 mm et 15 mm.
6. Procédé selon la revendication 5, dans lequel les deuxièmes motifs lumineux (25) comprennent des deuxièmes franges lumineuses .
7. Procédé selon la revendication 6, dans lequel les premières franges (25) sont droites et parallèles et dans lequel les deuxièmes franges sont droites et parallèles.
8. Procédé selon la revendication 1 ou 2, dans lequel les premiers motifs (25) ne sont pas périodiques, la première période correspondant à l'écart moyen entre les premiers motifs.
9. Procédé selon l'une quelconque des revendications 1 à 8, dans lequel les premiers motifs lumineux (25) sont déphasés d'une première image projetée à la suivante et dans lequel les deuxièmes motifs lumineux sont déphasés d'une deuxième image projetée à la suivante.
10. Système de détermination d'images tridimensionnelles d'un objet (Board) , comprenant :
au moins un projecteur (P) configuré pour projeter plusieurs premières images (24) sur l'objet, chaque première image projetée comprenant des premiers motifs lumineux (25) espacés d'une première période, et plusieurs deuxièmes images sur l'objet, chaque deuxième image projetée comprenant des deuxièmes motifs lumineux (25) espacés d'une deuxième période différente de la première période ;
au moins un capteur d'images (C) configuré pour acquérir, pour chaque première image projetée, au moins une première image bidimensionnelle de l'objet et, pour chaque deuxième image projetée, au moins une deuxième image bidimensionnelle de l'objet ; et
un module (16) configuré pour déterminer une première hauteur (Zl), ou une première donnée intermédiaire à partir de laquelle la première hauteur peut être déterminée, pour chaque point de l'objet à partir des premières images bidimensionnelles, pour déterminer une deuxième hauteur (Z2) , ou une deuxième donnée intermédiaire à partir de laquelle la deuxième hauteur peut être déterminée, pour chaque point de l'objet à partir des deuxièmes images bidimensionnelles, pour détecter au moins une zone translucide (20) de l'objet par comparaison des premières et deuxièmes hauteurs ou des première et deuxième données intermédiaires, et, pour chaque point de la zone translucide, pour déterminer une troisième hauteur pour ledit point à partir des première et deuxième hauteurs pour ledit point et des première et deuxième périodes ou d'une troisième donnée intermédiaire à partir de laquelle la troisième hauteur est déterminée pour ledit point à partir des première et deuxième données intermédiaires pour ledit point et des première et deuxième périodes.
11. Système selon la revendication 10, comprenant un module de fourniture d'images numériques et dans lequel le projecteur (P) est adapté à projeter lesdites plusieurs images (24) sur l'objet, chacune desdites images étant formée par le projecteur à partir de l'une desdites images numériques.
PCT/FR2019/050837 2018-05-25 2019-04-09 Systeme de determination d'images tridimensionnelles WO2019224436A1 (fr)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP19721004.0A EP3803792A1 (fr) 2018-05-25 2019-04-09 Systeme de determination d'images tridimensionnelles
US17/250,097 US20210215476A1 (en) 2018-05-25 2019-04-09 System for determining three-dimensional images

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR1800513 2018-05-25
FR1800513A FR3081592B1 (fr) 2018-05-25 2018-05-25 Systeme de determination d'images tridimensionnelles

Publications (1)

Publication Number Publication Date
WO2019224436A1 true WO2019224436A1 (fr) 2019-11-28

Family

ID=63722439

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/FR2019/050837 WO2019224436A1 (fr) 2018-05-25 2019-04-09 Systeme de determination d'images tridimensionnelles

Country Status (4)

Country Link
US (1) US20210215476A1 (fr)
EP (1) EP3803792A1 (fr)
FR (1) FR3081592B1 (fr)
WO (1) WO2019224436A1 (fr)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1247070B1 (fr) * 2000-01-10 2007-10-17 Massachusetts Institute of Technology Incorporated Procede et dispositif de mesure de ligne hypsometrique
US20140064603A1 (en) * 2013-01-02 2014-03-06 Song Zhang 3d shape measurement using dithering
US20150138565A1 (en) * 2013-11-18 2015-05-21 Seiko Epson Corporation Calibration method and shape measuring apparatus
CN107063128A (zh) * 2016-04-29 2017-08-18 华南师范大学 一种双频相移三维测量方法及系统

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8090194B2 (en) * 2006-11-21 2012-01-03 Mantis Vision Ltd. 3D geometric modeling and motion capture using both single and dual imaging
US8294762B2 (en) * 2008-10-10 2012-10-23 Fujifilm Corporation Three-dimensional shape measurement photographing apparatus, method, and program
CA2753249A1 (fr) * 2009-02-27 2010-09-02 Body Surface Translations, Inc. Estimation de parametres physiques a l'aide de representations tridimensionnelles
JP5430612B2 (ja) * 2011-05-31 2014-03-05 Ｃｋｄ株式会社 三次元計測装置
JP2013124938A (ja) * 2011-12-15 2013-06-24 Ckd Corp 三次元計測装置
US9041914B2 (en) * 2013-03-15 2015-05-26 Faro Technologies, Inc. Three-dimensional coordinate scanner and method of operation

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1247070B1 (fr) * 2000-01-10 2007-10-17 Massachusetts Institute of Technology Incorporated Procede et dispositif de mesure de ligne hypsometrique
US20140064603A1 (en) * 2013-01-02 2014-03-06 Song Zhang 3d shape measurement using dithering
US20150138565A1 (en) * 2013-11-18 2015-05-21 Seiko Epson Corporation Calibration method and shape measuring apparatus
CN107063128A (zh) * 2016-04-29 2017-08-18 华南师范大学 一种双频相移三维测量方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
PETER LUTZKE: "Measuring error compensation on three-dimensional scans of translucent objects", OPTICAL ENGINEERING., vol. 50, no. 6, 1 June 2011 (2011-06-01), BELLINGHAM, pages 063601, XP055527348, ISSN: 0091-3286, DOI: 10.1117/1.3582858 *
TOMISLAV PRIBANIC ET AL: "Efficient and Low-Cost 3D Structured Light System Based on a Modified Number-Theoretic Approach", EURASIP JOURNAL ON ADVANCES IN SIGNAL PROCESSING, vol. 2010, no. 1, 1 December 2009 (2009-12-01), XP055526306, DOI: 10.1155/2010/474389 *

Also Published As

Publication number Publication date
EP3803792A1 (fr) 2021-04-14
FR3081592B1 (fr) 2021-05-14
US20210215476A1 (en) 2021-07-15
FR3081592A1 (fr) 2019-11-29

Similar Documents

Publication Publication Date Title
CA2659544C (fr) Procede et installation de mise en lots de produits de boulangerie industrielle
US20160078610A1 (en) Point cloud merging from multiple cameras and sources in three-dimensional profilometry
US20140320633A1 (en) Enhanced illumination control for three-dimensional imaging
US20090297020A1 (en) Method and system for determining poses of semi-specular objects
FR2711820A1 (fr) Système d'inspection optique automatique à base pondérée de données de transmission.
EP2413095A1 (fr) Installation d'inspection optique 3D de circuits électroniques
FR2682473A1 (fr) Procede et dispositif de relevement optique de la topographie d'objets.
WO2014167248A1 (fr) Systeme et procede d'inspection optique de circuits electroniques
EP3494386A1 (fr) Procede d'inspection optique d'un objet
FR2963144A1 (fr) Installation d'inspection optique de circuits electroniques
EP3803792A1 (fr) Systeme de determination d'images tridimensionnelles
EP3662447B1 (fr) Procede de controle non destructif d'une piece aeronautique et systeme associe
WO2020229780A1 (fr) Procédé et système d'inspection optique d'un objet
FR3081593A1 (fr) Procede d'etalonnage d'une camera d'un systeme de determination d'images tridimensionnelles et mire d'etalonnage
EP3117181A1 (fr) Procede de determination d'images tridimensionnelles d'un objet
EP2951526A1 (fr) Systeme de determination d'une image tridimensionnelle d'un circuit electronique
WO2010072912A1 (fr) Dispositif de numerisation tridimensionnelle a reconstruction dense
EP3552002A1 (fr) Système et procède de positionnement et d'inspection optique d'un objet
FR3096507A1 (fr) Procede de positionnement et d'inspection optique d'un objet
JP4162132B2 (ja) 走査ヘッドおよびそれを利用可能な外観検査装置
EP3350581B1 (fr) Mire d'etalonnage ou de test
JPH1068612A (ja) 物体表面の形状検出方法及び形状検出装置
JP4162131B2 (ja) 走査ヘッドおよびそれを利用可能な外観検査装置
JP2985635B2 (ja) 表面形状３次元計測方法
JP2006330622A (ja) 露光装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19721004

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2019721004

Country of ref document: EP

Effective date: 20210111