WO2014020289A1 - Procede et dispositif d'identification de materiaux dans une scene - Google Patents

Procede et dispositif d'identification de materiaux dans une scene Download PDF

Info

Publication number
WO2014020289A1
WO2014020289A1 PCT/FR2013/051875 FR2013051875W WO2014020289A1 WO 2014020289 A1 WO2014020289 A1 WO 2014020289A1 FR 2013051875 W FR2013051875 W FR 2013051875W WO 2014020289 A1 WO2014020289 A1 WO 2014020289A1
Authority
WO
WIPO (PCT)
Prior art keywords
scene
light
point
topology
type
Prior art date
Application number
PCT/FR2013/051875
Other languages
English (en)
Inventor
Romain Roux
Original Assignee
Vit
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Vit filed Critical Vit
Priority to KR20157003764A priority Critical patent/KR20150036575A/ko
Priority to CN201380051800.XA priority patent/CN104704346A/zh
Priority to US14/418,172 priority patent/US20150212009A1/en
Priority to EP13756656.8A priority patent/EP2880421A1/fr
Publication of WO2014020289A1 publication Critical patent/WO2014020289A1/fr

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/21—Polarisation-affecting properties
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/9501—Semiconductor wafers
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/956—Inspecting patterns on the surface of objects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N2021/1734—Sequential different kinds of measurements; Combining two or more methods
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N2021/1765—Method using an image detector and processing of image signal
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/956—Inspecting patterns on the surface of objects
    • G01N2021/9563—Inspecting patterns on the surface of objects and suppressing pattern images
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/956—Inspecting patterns on the surface of objects
    • G01N2021/95638—Inspecting patterns on the surface of objects for PCB's

Definitions

  • the present invention relates to a device and a method for identifying materials in a scene. More particularly, the present invention relates to such a device and method adapted to the rapid identification of materials in a scene, for example on an assembly line.
  • Components or chips are then positioned on the printed circuit board so that their terminals coincide with solder pads.
  • a second alignment and positioning test can be performed after this step of positioning the components.
  • a final step is to anneal the structure so as to melt the solder pads for the components or chips to be held in position on the integrated circuit board.
  • the integrated circuit boards are placed on a conveyor and all assembly steps are performed in the chain.
  • Many card testing devices positioned on conveyors are known, including devices incorporating optical inspection elements.
  • identification of a material here is meant indifferently the determination of a group of materials in which is included the material to be identified, that is to say for example the nature of the material (dielectric, conductor %), the determination of the material itself (copper, aluminum, etc.) or the distinction between different surface states of the same material (several levels of roughness or oxidation, for example).
  • An object of an embodiment is to provide a device and method for identifying materials in a scene. Another object of an embodiment is to propose a particularly fast solution adapted to mobile scenes, especially on an assembly line.
  • Another object of an embodiment is to provide a device and method suitable for identifying materials in a three-dimensional scene.
  • a method of identifying a material in a scene comprising the steps of: illuminating the scene; performing at least two simultaneous measurements of the light amplitude of the scene for distinct polarization states of the light using at least two measuring devices positioned in directions inclined above the normal of the scene; and deduce an identification of the material.
  • An embodiment of the present invention further provides a system for identifying a material in a scene, comprising at least one element of a first type selected from a light source and an image acquisition device, and at least two elements of a second type, different from the first type, chosen from an image acquisition device and a light source, each second element being associated with a rectilinear polarizer in a fixed relation.
  • the optical axis of each element of the second type forms, with respect to the optical axis of the element of the first type, an angle of between 5 and 50 °, the elements of the second type being regularly distributed around the optical axis of the element of the first type.
  • the one or more image acquisition devices acquire images of the light amplitude of the scene for distinct polarization states of the light.
  • the system further comprises a suitable processing device to identify, from the images acquired by the one or more image acquisition devices, a material in the scene.
  • the system further comprises a device for determining the topology of the scene, the processing device receiving information from the determination device.
  • the element of the first type is placed along an axis normal to the plane of the scene.
  • the elements of the second type are light sources.
  • An embodiment of the present invention further provides a method as described above, implementing the system as described above, wherein the light sources are alternately activated, the image acquisition device being intended to acquire an image with each alternation of activation of the sources.
  • An embodiment of the present invention further provides an installation comprising a coin conveyor and a system for identifying a material in the coins as described above.
  • Figure 1 illustrates a circuit board inspection device
  • FIG. 2 illustrates a known device for identifying materials present in a two-dimensional (2D) scene
  • Fig. 3 is a graph illustrating the principle of a device according to one embodiment
  • Fig. 4 is a block diagram of a system according to one embodiment
  • Fig. 5 is a perspective view illustrating notations used to describe embodiments
  • Figure 6 illustrates an embodiment of an element of the system according to one embodiment
  • Figure 7 illustrates another embodiment of an element of the system according to an alternative embodiment
  • FIG. 8 illustrates another embodiment of an element of the system according to an alternative embodiment
  • Figures 9 and 10 show, in the form of block diagrams, method embodiments of identifying a material in a scene.
  • FIG. 1 very schematically represents an example of such an installation as described in documents EP-A-2413132 and US-A-2012/019651.
  • IC electronic circuits for example carried by an ICC printed circuit board, are placed, for example, on a conveyor 1 of an optical inspection line installation.
  • This installation comprises a system 2 of digital cameras, connected to a computer system 3 image processing.
  • the conveyor 1 is able to move in an X, Y (generally horizontal) plane and, for a series of shots, in only one of the two directions, the X direction.
  • the system 2 of digital cameras can take many forms.
  • Figure 2 illustrates a known device for identifying materials present in a two-dimensional (2D) scene.
  • This device comprises a wafer 12 on the surface of which are defined patterns 14 in a material different from that of the wafer, and that we want to identify.
  • the wafer 12 is for example illuminated by ambient light.
  • a camera 16 is placed opposite the wafer 12 and is positioned to acquire an image of at least a portion of the surface of the wafer 12 whose structure is to be identified by the identification of the material.
  • the optical axis of the camera is orthogonal to the surface of the wafer. It should be noted that oblique positioning of the camera is also possible.
  • a rotating linear polarizer 18 is placed in front of the camera 16.
  • the polarizer 18 may for example consist of a birefringent lens which amplifies the light intensity along a polarization axis of the light and attenuates the light intensity along another axis of light. polarization of light, orthogonal to the first axis.
  • the camera is associated with processing and calculation means 20.
  • the rotating linear polarizer is used in ellipsometer. This makes it possible to map the light intensity as a function of the orientation of the polarization. To achieve this mapping, the linear rotating polarizer can be for example mounted on an axis driven by a motor.
  • FIG. 3 illustrates a result that can be obtained by the device of FIG. 2. More particularly, FIG. 3 illustrates two ellipsometric curves determined at using the device of Figure 2, resulting from measurements made for two pixels of the camera directed to points of the scene in different materials. These curves illustrate the coefficient of modulation of the incident intensity as a function of the angle of the rotating polarizer (in radian) for a first pixel of the camera which is directed towards a first material on the surface of the support 12 (curve 22) and for a second pixel of the camera which is directed towards a second material on the surface of the support 12 (curve 24).
  • the curve 22 corresponds to the acquisition made by a pixel of the camera 16 which detects a zone of a conductive material, and more particularly of copper.
  • the curve 24 corresponds to the acquisition made by a pixel of the camera 16 which detects an area of a dielectric material.
  • Measurements such as that of FIG. 2 can thus be used to obtain information on the material on which the light wave has been reflected.
  • each material has an ellipsometric signature related to its composition, and in particular to its refractive index.
  • a comparison between an ellipsometric signature and reference signatures makes it possible to determine the associated material.
  • identification of materials by ellipsometry can not be implemented in the case of mobile scene processing, for example on an assembly line, where the time allocated to each acquisition is reduced. Indeed, to achieve an ellipsometry identification and therefore by comparison of ellipsometric curves, the measurement of many points for distinct positions of the rotating linear polarizer is necessary, such a measure being time consuming.
  • material identification by ellipsometry can not be implemented in the case of a processing of a deformable scene whose topology is not known.
  • the use of a structure comprising two polarizers coupled to a liquid crystal retarder also implies a prohibitive measurement time for an application on an assembly line.
  • the material identification system in a scene does not include a variable polarization device.
  • a variable polarization device is a device adapted to polarize a light beam that passes through a polarization that varies over time. This is, for example, a linear polarizer rotating as described above.
  • each polarizer used in the identification system is in a fixed relationship with the image acquisition device or the light source with which it is associated.
  • the identification system also does not include an optical light beam splitting device.
  • Fig. 4 is a block diagram illustrating a system according to an embodiment for identifying materials in a scene, compatible with identification on an assembly line.
  • a measurement device 26 detects, for each elementary zone of the scene, the luminous amplitude reflected by this zone for at least two distinct polarization states of the light.
  • the system further comprises a processing and calculation device 27 (PROCESSING) which, from the information provided by the system 26, makes it possible to obtain an identification of the material present in the elementary zone of the scene.
  • the system further comprises a device for determining the topology of the scene 28 (3D).
  • a three-dimensional image corresponds to a cloud of points, comprising for example several million points, of at least a part of the outer surface of the scene, in which each point of the surface is marked by its coordinates determined with respect to a space marker three-dimensional.
  • the value of the normal vector on the surface of the scene N is known at every point of the scene.
  • various devices may be used.
  • This device comprises, in a plane orthogonal to the direction of advancement of a conveyor, a set of two projectors, each projector being associated with several cameras to obtain a 3D shooting system. Calculation and processing means apply a super resolution process on the information obtained.
  • the device 26 for determining the topology of the scene may correspond to a device distinct from the measuring device 26.
  • at least some elements of the device for determining the topology of the scene 28, in particular cameras and / or projectors, may be common with the measuring device 26.
  • the topology of the scene and the position of the scene with respect to the acquisition devices can come from a digital description file and correspond to a theoretical topological representation of the scene.
  • the reflection of a light wave on a surface implies a variation of the polarization of the wave whose amplitude depends, in addition to the refractive index ⁇ of detected material, the geometry of the analyzed surface, the roughness r of the surface and the wavelength ⁇ of the light beam illuminating the surface.
  • the roughness r of the surface and the wavelength ⁇ of the light beam illuminating the surface will be neglected or assumed to be constant in our case.
  • the geometry of the analyzed surface can be characterized by a normal vector N at the analyzed surface.
  • N the polarization state of a light wave reflected on a surface depends on the polarization state of the initial wave projected on the surface, the parameters N, r and ⁇ and the refractive index ⁇ of the material. .
  • the amplitude I ( ⁇ , ⁇ ',, ⁇ ) of the light diffused by a material located in a three-dimensional scene and measured by a sensor positioned behind a rotating linear polarizer can be written according to the following relation (1):
  • FIG. 5 schematically illustrates the different angles mentioned in the formula above.
  • a light source S which illuminates the surface of a material M.
  • a polarizer P being placed on the path of the wave reflected by the material.
  • the reference (x, y, z) of the camera is defined so that the z axis coincides with the direction of the beam reflected by the material M.
  • the angle ⁇ of the polarizer P is defined in our example as the angle formed, in a plane normal to the direction z, with the axis y.
  • the angle ⁇ is the angle formed between the direction z and the direction of the normal N at the surface of the material M, and the angle is the angle formed between a projection of the normal N in a plane (x, y ) and the y axis of this plane.
  • ⁇ (1 / ⁇ , ⁇ ',, ⁇ ) should be used to express the intensity measured by the sensor.
  • the measuring device 26 uses the measuring device 26, several acquisitions of amplitude of the light reflected by the different materials in the scene are provided for polarization states that are distinct from this light. Whether the scene is two-dimensional (normal vector N orthogonal to the surface of the scene) or three-dimensional, the operation of the device proposed here is the same.
  • the measuring system 26 is provided so as to obtain at least two pieces of information about the modification of the light beam by the reflection on the pixel, and this for at least two polarization states, as will be seen below.
  • FIG. 6 illustrates in more detail one embodiment of a measurement system 26 of FIG. 4.
  • the measurement system 26 comprises a projector 30 whose optical axis extends in a direction normal to the direction of the scene to be analyzed.
  • the system 26 further comprises a set of four cameras 32 (four acquisitions in parallel) placed so as to acquire, from different points of view, an image of the scene centered on the same point.
  • the point at the center of the images acquired by the cameras 32 may be confused with the center of the beam provided by the projector 30.
  • the cameras 32 may be inclined at the same angle with respect to the optical axis of the projector and be positioned regularly around the optical axis of the projector 30.
  • the angle formed between the optical axis of the cameras 32 and the optical axis of the projector 30 may be between 5 and 50 °. It should be noted that an important angle improves the quality of identification. It will also be noted that more or less four cameras may be provided as described above. According to one variant, the angle may be different for each camera.
  • a rectilinear polarizer 34 fixed with respect to each of the cameras is placed in front of each of the cameras 32.
  • the processing and calculation device 27 (not shown in FIG. 6) receives the acquisitions of the different cameras and identifies, for each pixel of the scene, using the knowledge of the topology of the pixel, the material present at the pixel level of the scene.
  • rectilinear polarisers in front of each camera are possible, the important thing being that the cameras have different points of view of the scene. Indeed, this produces variations in the intensities measured by the different cameras.
  • the rectilinear polarizers 34 can be placed in front of each of the cameras so as to have the same configuration of polarimetry, that is to say that the polarization angles of the polarizers are symmetrical in rotation about the optical axis of the projector 30. If it is desired to increase the variation of the intensities measured by the different cameras, it is also possible to offset the angles of the polarizers between the cameras. Indeed, a polarimetric configuration that varies between the cameras ensures good quality identification.
  • the preferred position of the rectilinear polarizers proposed above ensures the realization of measurements of the light amplitude reflected by each pixel of the scene for different polarization states of the reflected light (each camera is associated with a linear polarizer, which ensures the measurement of these different states of polarization).
  • the cameras each receive, for the same pixel of the scene, a light amplitude corresponding to a different polarization of the light reflected by the pixel. From the values measured by the cameras for distinct polarization states of light, and the knowledge of the topology of the scene in the case of a 3D scene, we can therefore determine the materials present in the scene (by determination their refractive indices).
  • Figures 7 and 8 illustrate two embodiments of a device according to one embodiment.
  • FIG. 7 shows a device similar to that of FIG. 6 in that it comprises a projector 30 of unpolarized light positioned in a direction normal to the scene, the light emitted by the projector being adapted to illuminate at least one part of the scene we are studying.
  • two cameras 32 associated with rectilinear polarizers, perform image acquisition of the scene.
  • the two cameras 32 are placed symmetrically with respect to the projector, the optical axis of the cameras forming an angle with the optical axis of the projector, preferably between 5 and 50 °.
  • FIG. 8 illustrates another variant embodiment.
  • Figure 8 is provided a combination of two light sources and a camera, for a result similar to the embodiments of Figures 6 and 7.
  • two light sources 30A, 30B are placed so as to illuminate, at their optical axes, the same point of the scene.
  • the optical axes of the two light sources are provided with respect to the normal to the scene to form the same angle ⁇ , preferably between 5 and 50 °, and are oriented symmetrically with respect to a plane normal to the scene.
  • a single camera 32 is placed in this normal plane, and its optical axis is directed towards the central point of the light beams from the sources 30A and 30B.
  • the light sources 30A, 30B are polarized. To schematize this point in FIG. 7, two polarizers 34A, 34B are shown, fixed with respect to the sources 30A, 30B and placed on the optical path of the beam coming from the sources 30A, 30B. It will be noted that it is also possible to directly provide polarized light sources.
  • the polarizations of the light waves of the sources 30A and 30B may be provided so as to limit the specular reflections that can be troublesome in the vision system. It is also possible to choose the polarizations of the light waves of the sources 30A and 30B (or the positioning of the polarizers 34A and 34B in the example of FIG. 7) so that the signal reflected by a plane reference surface is received by the camera of way to coincide with the extremums of detected light amplitude (curve of FIG. 3).
  • an acquisition offset correction between the first and second acquisitions may be provided so that the images detected during these two acquisitions are comparable.
  • the amplitude information detected by the camera during the two phases of activation of the projectors 30A and 30B for the same zone of the scene, as well as the knowledge of the topology of this zone if the scene is three-dimensional, ensure the identification of the pixel material by the processing system 27.
  • the polarizers 34A and 34B are not present.
  • a rectilinear polarizer fixed with respect to the camera 32 is placed in front of the camera 32.
  • the camera makes a first acquisition under the illumination of the projector 30A and a second acquisition under one illumination of the projector 30B.
  • the different polarization states of the two acquisitions then come from the fact that the scene is illuminated at a different angle by each projector 30A, 30B during acquisitions.
  • only one or none of the projectors can be equipped with an optical device modifying the incident polarization state.
  • the material identification structure in a scene proposed here can be integrated into 3D scene topology detection devices, and in particular with the device described in US patent application 2012/019651 mentioned above. For this, it is enough to divert the function of certain cameras of the scene not for the detection of topology but for the identification of materials, or to add one or more cameras dedicated to the identification of materials in the system of topology detection.
  • the method of identifying a material in a scene comprises the direct comparison to one another of the acquired images corresponding to two different states of polarization.
  • Fig. 9 shows, in the form of a schematic block, an embodiment of a method of identifying a material in a scene.
  • the device 28 determines the topology of the scene. This may include determining a three-dimensional image of the scene.
  • a three-dimensional image corresponds to a cloud of points, comprising, for example, several million points, of at least a part of the outer surface of the scene, in which each point of the surface is marked by its coordinates determined with respect to a reference mark. three-dimensional space.
  • step 42 the processing and computing device 27 determines, for each point of interest of the observed scene, the light intensities measured by all the cameras of the measuring device 26 observing this point of interest.
  • point of interest we mean one of the points of the scene whose position is known thanks to the topology data of the scene and for which we seek to identify the corresponding material.
  • the positions of the image point corresponding to the point of interest in the acquired images are given by the combination of the topology data of the scene provided by the device 28 with, for example, calibration information of the image acquisition devices allowing to project the points resulting from the topology into the acquired images.
  • the processing and computing device 27 determines in each image acquired at different states of polarization by the cameras observing this point of interest of the scene, the luminous intensity at the image point for example by bilinear interpolation from the light intensities of the pixels of an image portion around the image point.
  • step 44 the processing and computing device 27 compares the light intensities determined in step 42 for a given point of interest.
  • This comparison can for example be performed in the form of a simple difference in light intensities or the ratio of light intensities.
  • the comparison stage shows the variations in light intensity as a function of the polarization state of the images acquired.
  • step 46 the processing and computing device 27 determines the nature of the material at the point of interest of the scene from the value of the difference determined in step 44. For example, this can be obtained by comparing the difference to a threshold. When the difference is greater than or equal to the threshold, the device 7 determines that the point of interest of the scene is in a conducting material and, when the difference is strictly less than the threshold, the device 7 determines that the point of interest of the scene is made of a dielectric material.
  • the threshold used can be determined experimentally from known scenes.
  • step 42 comprises, from the topology data of the scene provided by the device 28, the determination of the different light intensities acquired for each point of illumination. interest.
  • this determination can be carried out in two stages.
  • the first step consists in projecting the point of interest of the scene on the image plane of all the cameras in order to obtain the corresponding image points.
  • the second step consists of interpolating the light intensities in each image point, for each acquired image.
  • Step 46 may comprise a step of comparing identifications of the nature of the materials obtained by comparing the intensity differences of several pairs of cameras with a threshold in order to make the identification more robust with respect to acquisition noises.
  • the method of identifying a material in a scene comprises determining an extremum of a cost function obtained from the acquired images corresponding to the different polarization states.
  • Fig. 10 shows, in the form of a schematic block, an embodiment of a method of identifying a material in a scene.
  • Steps 50 and 52 are respectively identical to steps 40 and 42 described above.
  • step 54 the processing and calculation device 27 determines, for each image point associated with a point of interest of the scene, a Cost cost function, for example according to the following relation (2):
  • the absolute value As has been described above, the theoretical intensity I m0 depends in particular on the refractive index ⁇ of the material and the normal vector N on the surface of the observed scene.
  • the normal vector can be determined from the topology data provided by the device 28.
  • step 56 the processing and calculation device
  • the Cost function can also include a smoothing term that penalizes spatial transitions between indices.
  • this smoothing term may, for example, be an increasing function with the homogeneity of the optical index in the vicinity of the point of interest.
  • smoothing can be deduced from the learning of several scenes in which the materials have been identified, for example by an observer.

Abstract

L'invention concerne un procédé d'identification d'un matériau dans une scène, comprenant les étapes suivantes : éclairer la scène (1); réaliser au moins deux mesures simultanées de l'amplitude lumineuse de la scène pour des états de polarisation distincts de la lumière à l'aide d'au moins deux dispositifs de mesure positionnés selon des directions inclinées au-dessus de la normale de la scène; et en déduire une identification du matériau.

Description

PROCEDE ET DISPOSITIF D ' IDENTIFICATION DE MATERIAUX DANS UNE
SCENE
Domaine de 1 ' invention
La présente invention concerne un dispositif et un procédé d'identification de matériaux dans une scène. Plus particulièrement, la présente invention concerne de tels dispositif et procédé adaptés à l'identification rapide de matériaux dans une scène, par exemple sur une chaîne d'assemblage.
Exposé de l'art antérieur
Lors de l'assemblage de circuits imprimés, de nombreux tests d'alignement et de positionnement sont effectués à différents stades de l'assemblage. Notamment, il est courant de réaliser un premier test d'alignement et de positionnement après la formation de plots de soudure sur une carte de circuit imprimé. Ce premier test permet de déterminer si les plots sont correctement répartis en surface de la carte.
Des composants ou puces sont ensuite positionnés sur la carte de circuit imprimé de façon que leurs bornes coïncident avec des plots de soudure. Un deuxième test d'alignement et de positionnement peut être réalisé après cette étape de positionnement des composants. Une dernière étape consiste à réaliser un recuit de la structure de façon à faire fondre les plots de soudure pour que les composants ou puces soient maintenus en position sur la carte de circuit intégré.
Dans un procédé d'assemblage classique, les cartes de circuit intégré sont placées sur un convoyeur et l'ensemble des étapes d'assemblage est réalisé à la chaîne. De nombreux dispositifs de test de cartes positionnées sur des convoyeurs sont connus, notamment des dispositifs intégrant des éléments d'inspection optique.
Il serait cependant intéressant d'identifier également les matériaux présents dans la scène. Par identification d'un matériau, on entend ici indifféremment la détermination d'un groupe de matériaux dans lequel est compris le matériau à identifier, c'est-à-dire par exemple la nature du matériau (diélectrique, conducteur...), la détermination du matériau lui- même (cuivre, aluminium...) ou la distinction entre différents états de surface d'un même matériau (plusieurs niveaux de rugosité ou d'oxydation par exemple).
On a déjà proposé d'identifier des matériaux en réalisant des détections de couleur dans une scène bidimensionnelle . Un inconvénient est que le résultat est relativement dépendant des conditions d'éclairement . De plus, un tel procédé présente des limites en ce qui concerne le nombre de matériaux que l'on peut détecter. En outre, il est mal adapté à la réalisation d'une identification de matériaux dans une scène tridimensionnelle, les ombres des éléments en relief étant susceptibles de fausser l'identification.
Un besoin existe donc d'un procédé et d'un dispositif d'identification de matériaux dans une scène relativement rapides, c'est-à-dire adaptés à la réalisation d'identification sur des scènes mobiles, et notamment sur une chaîne de montage.
Résumé
Un objet d'un mode de réalisation est de prévoir un dispositif et un procédé d'identification de matériaux dans une scène . Un autre objet d'un mode de réalisation est de proposer une solution particulièrement rapide et adaptée aux scènes mobiles, notamment sur une chaîne de montage.
Un autre objet d'un mode de réalisation est de prévoir un dispositif et un procédé adaptés à l'identification de matériaux dans une scène tridimensionnelle.
Pour atteindre tout ou partie de ces objets ainsi que d'autres, on prévoit un procédé d'identification d'un matériau dans une scène, comprenant les étapes suivantes : éclairer la scène ; réaliser au moins deux mesures simultanées de l'amplitude lumineuse de la scène pour des états de polarisation distincts de la lumière à l'aide d'au moins deux dispositifs de mesure positionnés selon des directions inclinées au-dessus de la normale de la scène ; et en déduire une identification du matériau.
Un mode de réalisation de la présente invention prévoit en outre un système d'identification d'un matériau dans une scène, comportant au moins un élément d'un premier type choisi parmi une source lumineuse et un dispositif d'acquisition d'images et au moins deux éléments d'un deuxième type, différent du premier type, choisis parmi un dispositif d'acquisition d'images et une source lumineuse, chaque deuxième élément étant associé à un polarisateur rectiligne dans une relation fixe.
Selon un mode de réalisation de la présente invention, l'axe optique de chaque élément du deuxième type forme, par rapport à l'axe optique de l'élément du premier type, un angle compris entre 5 et 50°, les éléments du deuxième type étant répartis régulièrement autour de l'axe optique de l'élément du premier type.
Selon un mode de réalisation de la présente invention, le ou les dispositifs d'acquisition d'images acquièrent des images de l'amplitude lumineuse de la scène pour des états de polarisation distincts de la lumière.
Selon un mode de réalisation de la présente invention, le système comprend en outre un dispositif de traitement adapté à identifier, à partir des images acquises par le ou les dispositifs d'acquisition d'images, un matériau dans la scène.
Selon un mode de réalisation de la présente invention, le système comprend en outre un dispositif de détermination de la topologie de la scène, le dispositif de traitement recevant des informations du dispositif de détermination.
Selon un mode de réalisation de la présente invention, l'élément du premier type est placé selon un axe normal au plan de la scène.
Selon un mode de réalisation de la présente invention, les éléments du deuxième type sont des sources lumineuses.
Un mode de réalisation de la présente invention prévoit en outre un procédé tel que décrit ci-dessus, mettant en oeuvre le système tel que décrit ci-dessus, dans lequel les sources lumineuses sont activées alternativement, le dispositif d'acquisition d'image étant prévu pour acquérir une image à chaque alternance d' activâtion des sources.
Un mode de réalisation de la présente invention prévoit en outre une installation comprenant un convoyeur de pièces et un système d'identification d'un matériau dans les pièces tel que décrit ci-dessus.
Brève description des dessins
Ces objets, caractéristiques et avantages, ainsi que d'autres seront exposés en détail dans la description suivante de modes de réalisation particuliers faite à titre non limitatif en relation avec les figures jointes parmi lesquelles :
la figure 1 illustre un dispositif d'inspection de cartes de circuit imprimé ;
la figure 2 illustre un dispositif connu d'identification de matériaux présents dans une scène bidimensionnelle (2D) ;
la figure 3 est une courbe illustrant le principe d'un dispositif selon un mode de réalisation ;
la figure 4 est un schéma sous forme de blocs d'un système selon un mode de réalisation ; la figure 5 est une vue en perspective illustrant des notations utilisées pour décrire des modes de réalisation ;
la figure 6 illustre un mode de réalisation d'un élément du système selon un mode de réalisation ;
la figure 7 illustre un autre mode de réalisation d'un élément du système selon une variante de réalisation ;
la figure 8 illustre un autre mode de réalisation d'un élément du système selon une variante de réalisation ; et
les figures 9 et 10 représentent, sous la forme de schémas-blocs, des modes de réalisation de procédé d'identification d'un matériau dans une scène.
Par souci de clarté, de mêmes éléments ont été désignés par de mêmes références aux différentes figures et, de plus, comme cela est habituel dans la représentation des systèmes de test, les diverses figures ne sont pas tracées à 1 ' échelle .
Description détaillée
La figure 1 représente, de façon très schématique, un exemple d'une telle installation telle que décrite dans les documents EP-A-2413132 et US-A-2012/019651. Des circuits électroniques IC, par exemple portés par une carte de circuit imprimé ICC, sont placés, par exemple, sur un convoyeur 1 d'une installation en ligne d'inspection optique. Cette installation comporte un système 2 de caméras numériques, relié à un système informatique 3 de traitement d'images. Le convoyeur 1 est susceptible de se déplacer dans un plan X, Y (généralement horizontal) et, pour une série de prises de vue, uniquement selon une des deux directions, la direction X.
Le système 2 de caméras numériques peut prendre plusieurs formes. Notamment, il a été proposé de réaliser une détection du positionnement de puces ou de composants sur une carte de circuit imprimé par une détection de formes en surface de la carte, c'est-à-dire par une détection de la structure tridimensionnelle du dispositif. Si un composant, une puce, ou un plot de soudure n'est pas correctement positionné, la comparaison de la topologie de la carte à une topologie de référence permet de le détecter.
La figure 2 illustre un dispositif connu d'identification de matériaux présents dans une scène bidimensionnelle (2D) .
Ce dispositif comprend une plaquette 12 en surface de laquelle sont définis des motifs 14 en un matériau distinct de celui de la plaquette, et que l'on veut identifier. La plaquette 12 est par exemple éclairée par la lumière ambiante. Une caméra 16 est placée en regard de la plaquette 12 et est positionnée pour acquérir une image d'au moins une portion de la surface de la plaquette 12 dont on veut identifier la structure par l'identification du matériau. Dans l'exemple représenté, l'axe optique de la caméra est orthogonal à la surface de la plaquette. On notera qu'un positionnement oblique de la caméra est également possible.
Un polariseur linéaire tournant 18 est placé devant la caméra 16. Le polariseur 18 peut être par exemple constitué d'une lentille biréfringente qui amplifie l'intensité lumineuse selon un axe de polarisation de la lumière et atténue l'intensité lumineuse selon un autre axe de polarisation de la lumière, orthogonal au premier axe. La caméra est associée à des moyens de traitement et de calcul 20.
Le polariseur linéaire tournant est utilisé en ellipsomètre . Ceci permet de cartographier l'intensité lumineuse en fonction de l'orientation de la polarisation. Pour réaliser cette cartographie, le polariseur linéaire tournant peut être par exemple monté sur un axe entraîné par un moteur.
On notera qu'une détection similaire pourrait être réalisée à l'aide d'un dispositif comprenant une association de deux polariseurs linéaires positionnés autour d'un retardeur à cristaux liquides commandable en tension.
La figure 3 illustre un résultat susceptible d'être obtenu par le dispositif de la figure 2. Plus particulièrement, la figure 3 illustre deux courbes ellipsométriques déterminées à l'aide du dispositif de la figure 2, issues de mesures réalisées pour deux pixels de la caméra dirigées vers des points de la scène en des matériaux distincts. Ces courbes illustrent le coefficient de modulation de l'intensité incidente en fonction de l'angle du polariseur tournant (en radian) pour un premier pixel de la caméra qui est dirigé vers un premier matériau en surface du support 12 (courbe 22) et pour un deuxième pixel de la caméra qui est dirigé vers un deuxième matériau en surface du support 12 (courbe 24) .
Comme on peut le voir en figure 3, les courbes 22 et
24 présentent des amplitudes distinctes sur l'ensemble des angles de polarisation possibles. Dans l'exemple représenté, la courbe 22 correspond à l'acquisition réalisée par un pixel de la caméra 16 qui détecte une zone en un matériau conducteur, et plus particulièrement en cuivre. La courbe 24 correspond à l'acquisition réalisée par un pixel de la caméra 16 qui détecte une zone en un matériau diélectrique.
On peut donc utiliser des mesures telles que celle de la figure 2 pour obtenir une information sur le matériau sur lequel l'onde lumineuse s'est réfléchie. En effet, chaque matériau présente une signature ellipsométrique liée à sa composition, et notamment à son indice de réfraction. Une comparaison entre une signature ellipsométrique et des signatures de référence permet de déterminer le matériau associé.
Cependant, une identification de matériaux par ellipsométrie ne peut être mise en oeuvre dans le cas d'un traitement d'une scène mobile, par exemple sur une chaîne de montage, où le temps alloué à chaque acquisition est réduit. En effet, pour réaliser une identification par ellipsométrie et donc par comparaison de courbes ellipsométriques, la mesure de nombreux points pour des positions distinctes du polariseur linéaire tournant est nécessaire, une telle mesure étant consommatrice de temps. Une identification de matériaux par ellipsométrie ne peut en outre pas être mise en oeuvre dans le cas d'un traitement d'une scène déformable dont la topologie n'est pas connue. L'utilisation d'une structure comprenant deux polariseurs couplés à un retardateur à cristaux liquides implique également une durée de mesure prohibitive pour une application sur une chaîne de montage.
Selon un mode de réalisation, le système d'identification de matériaux dans une scène ne comprend pas de dispositif de polarisation variable. Un dispositif de polarisation variable est un dispositif adapté à polariser un faisceau lumineux qui le traverse selon une polarisation qui varie au cours du temps. Il s'agit, par exemple, d'un polariseur linéaire tournant tel que décrit précédemment. Selon un mode de réalisation, chaque polariseur utilisé dans le système d'identification est dans une relation fixe avec le dispositif d'acquisition d'images ou la source lumineuse avec lequel il est associé. Le système d'identification ne comprend pas non plus de dispositif optique de séparation de faisceaux lumineux.
La figure 4 est un schéma sous forme de blocs illustrant un système selon un mode de réalisation permettant d'identifier des matériaux dans une scène, compatible avec l'identification sur une chaîne de montage.
Un dispositif de mesure 26 (POLA) détecte, pour chaque zone élémentaire de la scène, l'amplitude lumineuse réfléchie par cette zone pour au moins deux états de polarisation de la lumière distincts. Le système comprend en outre un dispositif de traitement et de calcul 27 (PROCESSING) qui, à partir des informations fournies par le système 26, permet d'obtenir une identification du matériau présent dans la zone élémentaire de la scène.
Le système comprend en outre un dispositif de détermination de la topologie de la scène 28 (3D) . Dans la suite de la description, on entend par topologie de la scène une description du relief de la scène. La détermination de la topologie de la scène peut comprendre la détermination d'une image tridimensionnelle de la scène. Une image tridimensionnelle correspond à un nuage de points, comprenant par exemple plusieurs millions de points, d'au moins une partie de la surface extérieure de la scène, dans lequel chaque point de la surface est repéré par ses coordonnées déterminées par rapport à un repère d'espace à trois dimensions.
Dans le cas d'une scène tridimensionnelle, grâce à la présence du dispositif de détermination de la topologie de la scène 28, on connaît, en tout point de la scène, la valeur du vecteur normal à la surface de la scène N . Pour déterminer la topologie de la scène, divers dispositifs pourront être utilisés. Notamment, on pourra utiliser des systèmes tels que ceux décrits dans la demande de brevet US 2012/019651 de la demanderesse. Ce dispositif comprend, dans un plan orthogonal à la direction d'avancement d'un convoyeur, un ensemble de deux projecteurs, chaque projecteur étant associé à plusieurs caméras pour obtenir un système de prise de vue 3D. Des moyens de calcul et de traitement appliquent un processus de super résolution sur les informations obtenues.
Bien entendu, d'autres dispositifs de détermination de la topologie de la scène 3D peuvent également être utilisés comme dispositif 26.
Le dispositif 26 de détermination de la topologie de la scène peut correspondre à un dispositif distinct du dispositif de mesure 26. A titre de variante, au moins certains éléments du dispositif de détermination de la topologie de la scène 28, notamment des caméras et/ou des projecteurs, peuvent être communs avec le dispositif de mesure 26.
Dans un autre mode de réalisation, la topologie de la scène et la position de la scène par rapport aux dispositifs d'acquisition peuvent provenir d'un fichier de description numérique et correspondre à une représentation topologique théorique de la scène.
La réflexion d'une onde lumineuse sur une surface implique une variation de la polarisation de l'onde dont l'amplitude dépend, outre de l'indice de réfraction η du matériau détecté, de la géométrie de la surface analysée, de la rugosité r de la surface et de la longueur d'onde λ du faisceau lumineux éclairant la surface. La rugosité r de la surface et la longueur d'onde λ du faisceau lumineux éclairant la surface seront négligées ou supposées constantes dans notre cas.
La géométrie de la surface analysée peut être caractérisée par un vecteur normal N à la surface analysée. Ainsi, l'état de polarisation d'une onde lumineuse réfléchie sur une surface dépend de l'état de polarisation de l'onde initiale projetée sur la surface, des paramètres N, r et λ et de l'indice de réfraction η du matériau.
L'amplitude I (η, θ', , β) de la lumière diffusée par un matériau situé dans une scène tridimensionnelle et mesurée par un capteur positionné derrière un polariseur linéaire tournant peut s'écrire selon la relation (1) suivante :
ΐ(η, θ' , α, β) = (1)
(a - cos (9'))2 + b2
cos (2(a - ))+ l
(a2 + b2 )tan(9')2 + 2a.cos (9')tan(e')2 + 2(a2 + b2 )+ sin (9')2 tan(e')2
avec sin(0')2 + 4n k2 + n - k2 - sin(0'):
2b2 = "2 - k2 - sin(0')2 + 4n2k2 - n2 - k2 - sin(0')2
n et k étant respectivement la partie réelle et la partie imaginaire (indice d'absorption) de l'indice de réfraction η du matériau, un couple (Θ, a) représentant les deux premières coordonnées sphériques (zénith et azimut) de la normale N à la surface observée dans le repère de la caméra, l'angle θ ' étant l'angle du rayon réfracté dans le matériau, obtenu à partir de l'angle Θ en appliquant la loi de Snell- Descartes (sin (Θ) =n. sin (θ ' ) ) et β étant l'angle du polariseur.
La figure 5 illustre schématiquement les différents angles mentionnés dans la formule ci-dessus. Dans cette figure est représentée une source lumineuse S qui éclaire la surface d'un matériau M. On considère ici le faisceau réfléchi par une portion élémentaire de la surface M à destination d'un détecteur ou une caméra D, un polariseur P étant placé sur le trajet de l'onde réfléchie par le matériau.
Le repère (x, y, z) de la caméra est défini de façon que l'axe z coïncide avec la direction du faisceau réfléchi par le matériau M. L'angle β du polariseur P est défini dans notre exemple comme étant l'angle formé, dans un plan normal à la direction z, avec l'axe y. L'angle Θ est l'angle formé entre la direction z et la direction de la normale N à la surface du matériau M, et l'angle est l'angle formé entre une projection de la normale N dans un plan (x, y) et l'axe y de ce plan.
On notera que l'on travaille ici sur la composante diffuse du faisceau, qui est, dans le modèle de Fresnel, une composante transmise par la couche intérieure du matériau. Ainsi, il convient d'utiliser Ι(1/η , θ ' , , β) pour exprimer l'intensité mesurée par le capteur.
On prévoit ici de réaliser, à l'aide du dispositif de mesure 26, plusieurs acquisitions d'amplitude de la lumière réfléchie par les différents matériaux dans la scène, pour des états de polarisation distincts de cette lumière. Que la scène soit bidimensionnelle (vecteur normal N orthogonal à la surface de la scène) ou tridimensionnelle, le fonctionnement du dispositif proposé ici est le même.
Le système de mesure 26 est prévu de façon à obtenir au moins deux informations de la modification du faisceau lumineux par la réflexion sur le pixel, et ce pour au moins deux états de polarisation, comme nous le verrons ci-après.
En particulier, si on cherche à déterminer la nature des matériaux présents dans la scène, par exemple diélectrique ou conducteur, peu d'informations d'amplitude du faisceau lumineux par la réflexion sur le pixel sont nécessaires. En effet, en spécifiant correctement les états de polarisation que l'on détecte, on peut déterminer la variation d'amplitude sur le matériau, cette variation étant directement liée à la nature du matériau. Si l'on souhaite une information plus précise sur le matériau, par exemple si on souhaite déterminer l'indice de réfraction de celui-ci, quatre acquisitions d'états de polarisation distincts peuvent être nécessaires.
La figure 6 illustre plus en détail un mode de réalisation d'un système de mesure 26 de la figure 4.
Le système de mesure 26 comprend un projecteur 30 dont l'axe optique s'étend selon une direction normale à la direction de la scène à analyser.
Dans l'exemple représenté, le système 26 comprend en outre un ensemble de quatre caméras 32 (quatre acquisitions en parallèle) placées de façon à acquérir, depuis des points de vue distincts, une image de la scène centrée sur un même point. Le point au centre des images acquises par les caméras 32 peut être confondu avec le centre du faisceau fourni par le projecteur 30. A titre d'exemple, les caméras 32 pourront être inclinées selon un même angle par rapport à l'axe optique du projecteur et être positionnées régulièrement autour de l'axe optique du projecteur 30. L'angle formé entre l'axe optique des caméras 32 et l'axe optique du projecteur 30 pourra être compris entre 5 et 50°. On notera qu'un angle important améliore la qualité de l'identification. On notera également que l'on pourra prévoir plus ou moins de quatre caméras, comme cela a été décrit ci- dessus. Selon une variante, l'angle peut être différent pour chaque caméra.
Un polariseur rectiligne 34 fixe par rapport à chacune des caméras est placé devant chacune des caméras 32. Le dispositif de traitement et de calcul 27 (non représenté en figure 6) reçoit les acquisitions des différentes caméras et identifie, pour chaque pixel de la scène à l'aide de la connaissance de la topologie du pixel, le matériau présent au niveau du pixel de la scène.
Plusieurs configurations des polariseurs rectilignes devant chacune des caméras sont possibles, l'important étant que les caméras aient des points de vue différents de la scène. En effet, ceci produit des variations des intensités mesurées par les différentes caméras. Les polariseurs rectilignes 34 peuvent être placés devant chacune des caméras de façon à présenter une même configuration de polarimétrie, c'est-à-dire que les angles de polarisation des polariseurs sont symétriques en rotation autour de l'axe optique du projecteur 30. Si l'on souhaite augmenter la variation des intensités mesurées par les différentes caméras, on peut également décaler les angles des polariseurs entre les caméras. En effet, une configuration polarimétrique variant entre les caméras assure une identification de bonne qualité.
La position préférée des polariseurs rectilignes proposée ci-dessus assure la réalisation de mesures de l'amplitude lumineuse réfléchie par chaque pixel de la scène pour différents états de polarisation de la lumière réfléchie (chaque caméra est associée à un polariseur linéaire, ce qui assure la mesure de ces différents états de polarisation) . Ainsi, les caméras reçoivent chacune, pour un même pixel de la scène, une amplitude lumineuse correspondant à une polarisation différente de la lumière réfléchie par le pixel. A partir des valeurs mesurées par les caméras pour des états de polarisation distincts de la lumière, et de la connaissance de la topologie de la scène dans le cas d'une scène 3D, on peut donc déterminer les matériaux présents dans la scène (par détermination de leurs indices de réfraction) .
Les figures 7 et 8 illustrent deux variantes de réalisation d'un dispositif selon un mode de réalisation.
La figure 7 reprend un dispositif similaire à celui de la figure 6 en ce qu'il comprend un projecteur 30 d'une lumière non polarisée positionné selon une direction normale à la scène, la lumière émise par le projecteur étant adaptée à éclairer au moins une partie de la scène que l'on étudie. Dans l'exemple de la figure 7, deux caméras 32, associées à des polariseurs rectilignes, réalisent une acquisition d'images de la scène. Les deux caméras 32 sont placées symétriquement par rapport au projecteur, l'axe optique des caméras formant un angle avec l'axe optique du projecteur, compris de préférence entre 5 et 50°.
L'homme de l'art déterminera aisément les polarisations à imposer aux deux polariseurs 34 pour que ceux-ci détectent, pour une surface plane de référence, les valeurs maximale et minimale de l'amplitude de l'intensité détectée.
La figure 8 illustre une autre variante de réalisation. En figure 8 est prévue une association de deux sources lumineuses et d'une caméra, pour un résultat similaire aux modes de réalisation des figures 6 et 7.
Dans l'exemple de la figure 8, deux sources lumineuses 30A, 30B sont placées de façon à éclairer, au niveau de leurs axes optiques, un même point de la scène. Les axes optiques des deux sources lumineuses sont prévus par rapport à la normale à la scène pour former un même angle a, de préférence compris entre 5 et 50°, et sont orientés symétriquement par rapport à un plan normal à la scène. Une unique caméra 32 est placée dans ce plan normal, et son axe optique est dirigé vers le point central des faisceaux lumineux issus des sources 30A et 30B.
Les sources lumineuses 30A, 30B sont polarisées. Pour schématiser ce point en figure 7, on a représenté deux polariseurs 34A, 34B, fixes par rapport aux sources 30A, 30B et placés sur le trajet optique du faisceau issu des sources 30A, 30B. On notera que l'on pourra également prévoir directement des sources de lumière polarisées.
Les polarisations des ondes lumineuses des sources 30A et 30B (ou le positionnement des polariseurs 34A et 34B dans l'exemple de la figure 7) pourront être prévues de façon à limiter les reflets spéculaires qui peuvent être gênants dans le système de vision. On pourra également choisir les polarisations des ondes lumineuses des sources 30A et 30B (ou le positionnement des polariseurs 34A et 34B dans l'exemple de la figure 7) de façon que le signal réfléchi par une surface plane de référence soit reçu par la caméra de façon à coïncider avec les extremums d'amplitude de lumière détectée (courbe de la figure 3) .
En fonctionnement, on pourra prévoir d'éclairer alternativement la scène à l'aide des projecteurs 30A et 30B, la caméra réalisant une première acquisition sous 1 ' éclairement du projecteur 30A et une deuxième acquisition sous 1 ' éclairement du projecteur 30B. Dans le cas d'un traitement par lots, sur une chaîne de montage, un correctif de décalage d'acquisition entre la première et deuxième acquisition pourra être prévu pour que les images détectées lors de ces deux acquisitions soient comparables .
Les informations d'amplitude détectées par la caméra pendant les deux phases d' activation des projecteurs 30A et 30B pour une même zone de la scène, ainsi que les connaissances de la topologie de cette zone si la scène est tridimensioinnelle, assurent 1 ' identification du matériau du pixel par le système de traitement 27.
Selon une variante du mode de réalisation représenté en figure 8, les polariseurs 34A et 34B ne sont pas présents. Un polariseur rectiligne fixe par rapport à la caméra 32 est placé devant la caméra 32. La caméra réalise une première acquisition sous 1 ' éclairement du projecteur 30A et une deuxième acquisition sous 1 ' éclairement du projecteur 30B. Les états de polarisation différents des deux acquisitions proviennent alors du fait que la scène est éclairée sous un angle différent par chaque projecteur 30A, 30B lors des acquisitions. Ainsi, un seul ou aucun des projecteurs peut être équipé d'un dispositif optique modifiant l'état de polarisation incident.
On notera que diverses variantes pourront être obtenues à partir des exemples de réalisation des figures 6 à 8.
En effet, on pourra prévoir d'utiliser des nombres différents de sources lumineuses et de caméras que ceux proposés ici, tant qu'au moins deux couples source émettrice/récepteur sont prévus dans le dispositif (une source pour deux caméras ou deux sources pour une caméra au minimum) . Bien entendu, on comprendra que plus le nombre de couples source/capteur est important, plus la détection des matériaux peut être fine et précise.
En pratique, on pourra limiter le nombre de matériaux à identifier dans la scène. En effet, par exemple dans le cas d'une application du procédé à l'identification de matériaux dans une chaîne de montage de circuits imprimés montés sur une carte, il peut être désiré de se limiter à une distinction entre les matériaux conducteurs (par exemple les pistes de cuivre d'interconnexion des puces) et les matériaux diélectriques. Avantageusement, ces matériaux présentent des signatures ellipsométriques bien distinctes (variation d'amplitude lumineuse plus importante pour les matériaux conducteurs que pour les matériaux isolants) , ce qui assure la distinction de ces matériaux. La réduction du choix des matériaux dans une liste permet, comme nous l'avons vu précédemment, de limiter le nombre de couples source lumineuse/dispositif d'acquisition du système d'identification.
Avantageusement, la structure d'identification de matériaux dans une scène proposée ici peut être intégrée dans des dispositifs de détection de topologie 3D de scène, et notamment avec le dispositif décrit dans la demande de brevet US 2012/019651 mentionnée ci-dessus. Pour cela, il suffit de détourner la fonction de certaines caméras de la scène non pas pour la détection de topologie mais pour l'identification de matériaux, ou encore d'ajouter une ou plusieurs caméras dédiées à 1 ' identification de matériaux dans le système de détection de topologie .
Selon un mode de réalisation, le procédé d'identification d'un matériau dans une scène comprend la comparaison directe l'une à l'autre des images acquises correspondant à deux états de polarisation différents.
La figure 9 représente, sous la forme d'un schéma- bloc, un mode de réalisation d'un procédé d'identification d'un matériau dans une scène. A l'étape 40, le dispositif 28 détermine la topologie de la scène. Ceci peut comprendre la détermination d'une image tridimensionnelle de la scène. Une image tridimensionnelle correspond à un nuage de points, comprenant par exemple plusieurs millions de points, d'au moins une partie de la surface extérieure de la scène, dans lequel chaque point de la surface est repéré par ses coordonnées déterminées par rapport à un repère d'espace à trois dimensions.
A l'étape 42, le dispositif de traitement et de calcul 27 détermine, pour chaque point d'intérêt de la scène observée, les intensités lumineuses mesurées par toutes les caméras du dispositif de mesure 26 observant ce point d'intérêt. Par point d'intérêt, on entend l'un des points de la scène dont la position est connue grâce aux données de topologie de la scène et pour lequel on cherche à identifier le matériau correspondant. Les positions du point image correspondant au point d' intérêt dans les images acquises sont données par la combinaison des données de topologie de la scène fournies par le dispositif 28 avec, par exemple, des informations de calibration des dispositifs d'acquisition d'images permettant de projeter les points issus de la topologie dans les images acquises.
Pour chaque point d'intérêt de la scène observée, le dispositif de traitement et de calcul 27 détermine dans chaque image acquise à des états de polarisation différents par les caméras observant ce point d'intérêt de la scène, l'intensité lumineuse au point image, par exemple par interpolation bilinéaire à partir des intensités lumineuses des pixels d'une portion d'image autour du point image.
A l'étape 44, le dispositif de traitement et de calcul 27 compare les intensités lumineuses déterminées à l'étape 42 pour un point d'intérêt donné. Cette comparaison peut par exemple être effectuée sous la forme d'une simple différence des intensités lumineuses ou du rapport des intensités lumineuses. De façon générale, l'étape de comparaison fait apparaître les variations de l'intensité lumineuse en fonction de l'état de polarisation des images acquises.
A l'étape 46, le dispositif de traitement et de calcul 27 détermine la nature du matériau au point d'intérêt de la scène à partir de la valeur de la différence déterminée à l'étape 44. A titre d'exemple, ceci peut être obtenu en comparant la différence à un seuil. Lorsque la différence est supérieure ou égale au seuil, le dispositif 7 détermine que le point d'intérêt de la scène est en un matériau conducteur et, lorsque la différence est strictement inférieure au seuil, le dispositif 7 détermine que le point d'intérêt de la scène est en un matériau diélectrique. Le seuil utilisé peut être déterminé expérimentalement à partir de scènes connues.
Lorsque plus de deux images de la scène avec des états de polarisation différents sont acquises, l'étape 42 comprend, à partir des données de topologie de la scène fournies par le dispositif 28, la détermination des différentes intensités lumineuses acquises pour chaque point d'intérêt. A titre d'exemple, cette détermination peut être réalisée en deux étapes. La première étape consiste en la projection du point d' intérêt de la scène sur le plan image de toutes les caméras afin d'obtenir les points image correspondants. La deuxième étape consiste en l'interpolation des intensités lumineuses en chaque point image, pour chaque image acquise. L'étape 46 peut comprendre une étape de confrontation des identifications de la nature des matériaux obtenues en comparant les différences d'intensité de plusieurs couples de caméras à un seuil afin de rendre plus robuste l'identification par rapport aux bruits d' acquisition.
Selon un mode de réalisation, le procédé d'identification d'un matériau dans une scène comprend la détermination d'un extremum d'une fonction de coût obtenue à partir des images acquises correspondant aux états de polarisation différents. La figure 10 représente, sous la forme d'un schéma- bloc, un mode de réalisation d'un procédé d'identification d'un matériau dans une scène.
Les étapes 50 et 52 sont respectivement identiques aux 5 étapes 40 et 42 décrites précédemment.
A l'étape 54, le dispositif de traitement et de calcul 27 détermine, pour chaque point image associé à un point d'intérêt de la scène, une fonction de coût Cost, par exemple selon la relation (2) suivante :
1 -1-Πu rUnUJ;tL = T-iNk = l
Figure imgf000021_0001
où N est le nombre d'images acquises avec des états de polarisation différents, ImesUré est l'intensité mesurée au point image considéré, Im0dèiisé es"t l'intensité théorique obtenue par la relation (1) décrite précédemment et ||x|| est une norme, par
15 exemple la valeur absolue. Comme cela a été décrit précédemment, 1 ' intensité théorique Im0dèiisé dépend notamment de 1 ' indice de réfraction η du matériau et du vecteur normal N à la surface de la scène observée. Le vecteur normal peut être déterminé à partir des données de topologie fournies par le dispositif 28.
20 A l'étape 56, le dispositif de traitement et de calcul
27 détermine l'indice de réfraction η pour lequel la fonction de coût Cost est minimale.
La fonction Cost peut, en outre, comprendre un terme de lissage pénalisant les transitions spatiales entre indices
25 optiques afin d'augmenter la robustesse de l'identification par rapport aux bruits d'acquisition. Dans le cas où l'on cherche à minimiser la fonction Cost, ce terme de lissage peut, par exemple, être une fonction croissante avec l'homogénéité de l'indice optique au voisinage du point d'intérêt. Ce terme de
30 lissage peut, par exemple, être déduit de l'apprentissage de plusieurs scènes dans lesquelles les matériaux ont été identifiés, par exemple par un observateur.
Des modes de réalisation particuliers de la présente invention ont été décrits. Diverses variantes et modifications apparaîtront à l'homme de l'art. En outre, divers modes de réalisation avec diverses variantes ont été décrits ci-dessus. On notera que l'homme de l'art pourra combiner divers éléments de ces divers modes de réalisation et variantes sans faire preuve d'activité inventive.

Claims

REVENDICATIONS
1. Procédé d'identification d'un matériau dans une scène, comprenant les étapes suivantes :
éclairer la scène (1) ;
réaliser au moins deux mesures simultanées de l'amplitude lumineuse de la scène pour des états de polarisation distincts de la lumière à l'aide d'au moins deux dispositifs de mesure positionnés selon des directions inclinées par rapport à la scène, les dispositifs de mesure ne comprenant pas de dispositif de polarisation variable ni de dispositif de séparation de faisceau lumineux ; et
en déduire une identification du matériau.
2. Procédé selon la revendication 1, comprenant, en outre, une étape de détermination de la topologie de la scène, l'identification du matériau étant, en outre, réalisée à partir de la topologie de la scène.
3. Procédé selon la revendication 2, dans lequel chaque mesure comprend l'acquisition d'une image et dans lequel le procédé comprend, en outre, une étape de détermination des amplitudes lumineuses aux points des images acquises pour des états de polarisation distincts correspondant à un point de la scène à partir des informations de topologie de la scène.
4. Procédé selon la revendication 3, comprenant, en outre, une étape de comparaison des amplitudes lumineuses aux points des images acquises pour des états de polarisation distincts correspondant à un même point de la scène.
5. Procédé selon la revendication 4, comprenant, en outre, une étape de détermination de la différence des amplitudes lumineuses aux points des images acquises pour des états de polarisation distincts correspondant au même point de la scène et une étape de comparaison de la différence à un seuil .
6. Procédé selon la revendication 3, comprenant, en outre, une étape de comparaison, pour chaque mesure, de l'amplitude lumineuse déterminée au point de l'image acquise correspondant au point de la scène et d'une amplitude théorique reçue audit point de l'image acquise.
7. Procédé selon la revendication 6, comprenant, en outre, une étape de détermination de l'indice de réfraction du matériau pour lequel une fonction de coût passe par un extremum, la fonction de coût utilisant les amplitudes lumineuses déterminées et des amplitudes théoriques reçues aux points des images acquises pour des états de polarisation distincts correspondant au point de la scène.
8. Système d'identification d'un matériau dans une scène (1) , comportant :
au moins un élément d'un premier type choisi parmi une source lumineuse et un dispositif d'acquisition d'images ; et au moins deux éléments d'un deuxième type, différent du premier type, choisis parmi un dispositif d'acquisition d'images et une source lumineuse, chaque deuxième élément étant associé à un polarisateur rectiligne (34) dans une relation fixe, le système ne comprenant pas de dispositif de polarisation variable ni de dispositif de séparation de faisceau lumineux.
9. Système selon la revendication 8, comprenant, en outre, un dispositif de détermination de la topologie de la scène (28) et un dispositif de traitement (27) adapté à identifier un matériau dans la scène à partir des images acquises par le ou les dispositifs d'acquisition d'images et des informations de topologie fournies par le dispositif de détermination de la topologie (28) .
10. Système selon la revendication 8 ou 9, dans lequel l'axe optique de chaque élément du deuxième type forme, par rapport à l'axe optique de l'élément du premier type, un angle compris entre 5 et 50°, les éléments du deuxième type étant répartis autour de l'axe optique de l'élément du premier type.
11. Système selon l'une quelconque des revendications 8 à 10, dans lequel le ou les dispositifs d'acquisition d'images acquièrent des images de l'amplitude lumineuse de la scène pour des états de polarisation distincts de la lumière.
12. Système selon l'une quelconque des revendications 8 à 11, dans lequel l'élément du premier type est placé selon un axe normal au plan de la scène (1) .
13. Système selon l'une quelconque des revendications 8 à 12, dans lequel les éléments du deuxième type sont des sources lumineuses (30A, 30B) .
14. Procédé selon la revendication 1, mettant en oeuvre le système selon la revendication 13, dans lequel les sources lumineuses (30A, 30B) sont activées alternativement, le dispositif d'acquisition d'image (30) étant prévu pour acquérir une image à chaque alternance d'activation desdites sources.
15. Installation comprenant un convoyeur de pièces et un système d'identification d'un matériau dans lesdites pièces selon l'une quelconque des revendications 8 à 13.
PCT/FR2013/051875 2012-08-02 2013-08-02 Procede et dispositif d'identification de materiaux dans une scene WO2014020289A1 (fr)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR20157003764A KR20150036575A (ko) 2012-08-02 2013-08-02 장면에서 재료들을 식별하기 위한 방법 및 디바이스
CN201380051800.XA CN104704346A (zh) 2012-08-02 2013-08-02 用于识别场景中的材料的方法和装置
US14/418,172 US20150212009A1 (en) 2012-08-02 2013-08-02 Method and device for identifying materials in a scene
EP13756656.8A EP2880421A1 (fr) 2012-08-02 2013-08-02 Procede et dispositif d'identification de materiaux dans une scene

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR1257518 2012-08-02
FR1257518A FR2994263B1 (fr) 2012-08-02 2012-08-02 Procede et dispositif d'identification de materiaux dans une scene

Publications (1)

Publication Number Publication Date
WO2014020289A1 true WO2014020289A1 (fr) 2014-02-06

Family

ID=47714174

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/FR2013/051875 WO2014020289A1 (fr) 2012-08-02 2013-08-02 Procede et dispositif d'identification de materiaux dans une scene

Country Status (6)

Country Link
US (1) US20150212009A1 (fr)
EP (1) EP2880421A1 (fr)
KR (1) KR20150036575A (fr)
CN (1) CN104704346A (fr)
FR (1) FR2994263B1 (fr)
WO (1) WO2014020289A1 (fr)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106018434B (zh) * 2016-07-06 2018-12-28 康代影像科技(苏州)有限公司 一种光学检测设备
JP6617124B2 (ja) * 2017-07-20 2019-12-11 セコム株式会社 物体検出装置
CN109752319A (zh) * 2017-11-01 2019-05-14 青岛海尔智能技术研发有限公司 一种识别衣物材质的光学方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3748484A (en) * 1969-12-31 1973-07-24 Texas Instruments Inc Object identification by emission polarization
US4648053A (en) * 1984-10-30 1987-03-03 Kollmorgen Technologies, Corp. High speed optical inspection system
JPH0518889A (ja) * 1991-07-15 1993-01-26 Mitsubishi Electric Corp 異物検査方法およびその装置
US20120019651A1 (en) * 2010-07-26 2012-01-26 Vit Installation of 3d inspection of electronic circuits
DE102010046438A1 (de) * 2010-09-24 2012-03-29 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zur optischen Charakterisierung von Materialien

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FI63835C (fi) * 1981-02-10 1983-08-10 Altim Control Ky Foerfarande foer identifiering av ett virkes ytegenskaper
US5138162A (en) * 1988-12-16 1992-08-11 The United States Of America As Represented By The Secretary Of The Army Method and apparatus for producing enhanced images of curved thermal objects
JPH02220242A (ja) * 1989-02-21 1990-09-03 Olympus Optical Co Ltd 光ディスク用基板の屈折率の検出方法
US5798830A (en) * 1993-06-17 1998-08-25 Ultrapointe Corporation Method of establishing thresholds for image comparison
US5611000A (en) * 1994-02-22 1997-03-11 Digital Equipment Corporation Spline-based image registration
IL125659A (en) * 1998-08-05 2002-09-12 Cadent Ltd Method and device for three-dimensional simulation of a structure
US6662116B2 (en) * 2001-11-30 2003-12-09 Exxonmobile Research And Engineering Company Method for analyzing an unknown material as a blend of known materials calculated so as to match certain analytical data and predicting properties of the unknown based on the calculated blend
US7742168B2 (en) * 2003-04-29 2010-06-22 Surfoptic Limited Measuring a surface characteristic
US7092082B1 (en) * 2003-11-26 2006-08-15 Kla-Tencor Technologies Corp. Method and apparatus for inspecting a semiconductor wafer
US8182099B2 (en) * 2005-12-21 2012-05-22 International Business Machines Corporation Noise immune optical encoder for high ambient light projection imaging systems
US7710572B2 (en) * 2006-11-30 2010-05-04 Asml Netherlands B.V. Inspection method and apparatus, lithographic apparatus, lithographic processing cell and device manufacturing method
FR2945348B1 (fr) * 2009-05-07 2011-05-13 Thales Sa Procede d'identification d'une scene a partir d'images polarisees multi longueurs d'onde
JP5538862B2 (ja) * 2009-12-18 2014-07-02 キヤノン株式会社 画像処理装置、画像処理システム、画像処理方法、及びプログラム
CN103026191B (zh) * 2010-07-21 2015-08-19 第一太阳能有限公司 温度调整光谱仪
US8845107B1 (en) * 2010-12-23 2014-09-30 Rawles Llc Characterization of a scene with structured light
WO2012109348A1 (fr) * 2011-02-10 2012-08-16 Kla-Tencor Corporation Éclairage structuré pour une amélioration de contraste dans une métrologie de superposition
US8638989B2 (en) * 2012-01-17 2014-01-28 Leap Motion, Inc. Systems and methods for capturing motion in three-dimensional space

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3748484A (en) * 1969-12-31 1973-07-24 Texas Instruments Inc Object identification by emission polarization
US4648053A (en) * 1984-10-30 1987-03-03 Kollmorgen Technologies, Corp. High speed optical inspection system
JPH0518889A (ja) * 1991-07-15 1993-01-26 Mitsubishi Electric Corp 異物検査方法およびその装置
US20120019651A1 (en) * 2010-07-26 2012-01-26 Vit Installation of 3d inspection of electronic circuits
DE102010046438A1 (de) * 2010-09-24 2012-03-29 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zur optischen Charakterisierung von Materialien

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2880421A1 *

Also Published As

Publication number Publication date
US20150212009A1 (en) 2015-07-30
CN104704346A (zh) 2015-06-10
KR20150036575A (ko) 2015-04-07
EP2880421A1 (fr) 2015-06-10
FR2994263B1 (fr) 2018-09-07
FR2994263A1 (fr) 2014-02-07

Similar Documents

Publication Publication Date Title
EP3765835B1 (fr) Ellipsomètre ou scattéromètre instantané et procédé de mesure associé
US20060290923A1 (en) Method and apparatus for detecting defects
FR2998047A1 (fr) Procede de mesure des variations d'epaisseur d'une couche d'une structure semi-conductrice multicouche
WO2009077534A1 (fr) Dispositif d'evaluation de la surface d'un pneumatique
FR2538113A1 (fr) Appareil pour la detection de defauts dans des objets transparents
US20220276607A1 (en) Digital Holography Microscope (DHM), and Inspection Method and Semiconductor Manufacturing Method Using the DHM
FR2923006A1 (fr) Dispositif optique pour l'observation de details structurels millimetriques ou submillimetriques d'un objet a comportement speculaire
WO2007139225A1 (fr) Dispositif d'inspection en surface
WO2014020289A1 (fr) Procede et dispositif d'identification de materiaux dans une scene
FR2613830A1 (fr) Dispositif pour determiner le contraste d'un ecran d'affichage en fonction de la direction d'observation
FR2842591A1 (fr) Dispositif pour mesurer des variations dans le relief d'un objet
WO2005001467A1 (fr) Procede et dispositif d'imagerie magneto-optique
EP1682879B1 (fr) Utilisation de la transformee de fourier optique pour le controle dimensionnel en microelectronique
WO2007057578A1 (fr) Procede et systeme de reconstruction de surfaces d'objets par imagerie de polarisat! on
WO2019134887A1 (fr) Procede et systeme d'inspection optique d'un substrat
FR3087539A1 (fr) Instrument de mesure avec systeme de visualisation du spot de mesure et accessoire de visualisation pour un tel instrument de mesure
WO2010034955A1 (fr) Mise au point d'un microscope a reflexion
EP2775318B1 (fr) Procédé et système d'acquisition d'image
EP2951526A1 (fr) Systeme de determination d'une image tridimensionnelle d'un circuit electronique
BE1015708A3 (fr) Procede pour mesurer la hauteur de spheres ou d'hemispheres.
FR2805343A1 (fr) Dispositif de controle de l'etat d'une surface
Taamazyan Calibrated Polarized Light Field for Object 3D Scanning
WO2019149638A1 (fr) Procede et dispositif d'inspection d'une surface d'un objet comportant des materiaux dissimilaires
EP1969344A2 (fr) Procede et dispositif d'observation d'un objet.
EP3475676A1 (fr) Mire d'etalonnage pour installation de prises de vues

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13756656

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2013756656

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 14418172

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 20157003764

Country of ref document: KR

Kind code of ref document: A