WO2017098071A1 - Sistema y método de detección de defectos en superficies especulares o semi-especulares mediante proyección fotogramétrica - Google Patents

Sistema y método de detección de defectos en superficies especulares o semi-especulares mediante proyección fotogramétrica Download PDF

Info

Publication number
WO2017098071A1
WO2017098071A1 PCT/ES2016/070865 ES2016070865W WO2017098071A1 WO 2017098071 A1 WO2017098071 A1 WO 2017098071A1 ES 2016070865 W ES2016070865 W ES 2016070865W WO 2017098071 A1 WO2017098071 A1 WO 2017098071A1
Authority
WO
WIPO (PCT)
Prior art keywords
light
objects
inspected
cameras
pattern
Prior art date
Application number
PCT/ES2016/070865
Other languages
English (en)
French (fr)
Inventor
Juan José AGUILAR MARTÍN
Jorge Santolaria Mazo
David SAMPER CARNICER
Jesús VELÁZQUEZ SANCHO
Original Assignee
Universidad De Zaragoza
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Universidad De Zaragoza filed Critical Universidad De Zaragoza
Priority to EP16872466.4A priority Critical patent/EP3388781B1/en
Priority to PL16872466.4T priority patent/PL3388781T3/pl
Publication of WO2017098071A1 publication Critical patent/WO2017098071A1/es

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/30—Measuring arrangements characterised by the use of optical techniques for measuring roughness or irregularity of surfaces
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/02—Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures
    • G01C11/025—Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures by scanning the object
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04—Interpretation of pictures
    • G01C11/06—Interpretation of pictures by comparison of two or more pictures of the same area
    • G01C11/12—Interpretation of pictures by comparison of two or more pictures of the same area the pictures being supported in the same relative position as when they were taken
    • G01C11/14—Interpretation of pictures by comparison of two or more pictures of the same area the pictures being supported in the same relative position as when they were taken with optical projection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8806—Specially adapted optical and illumination features
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8806—Specially adapted optical and illumination features
    • G01N2021/8829—Shadow projection or structured background, e.g. for deflectometry

Definitions

  • the present invention falls within the technical field corresponding to the analysis of surfaces for the detection and localization of defects or heterogeneities. Its scope mainly refers to industrial processes where the final products require a paint finish, as in the automotive, transportation, household appliances, etc. More specifically, the invention relates to a system for detecting and locating defects in specular or semi-specular surfaces of objects, by means of photogrammetric projection, which can be used in real time in an industrial manufacturing or assembly chain. The invention also relates to a defect detection method based on said system.
  • Paint treatments are commonly used to improve the surface characteristics of industrial products, such as their resistance to corrosion, wear, improve the adhesion of other products, tightness to prevent water ingress, and aesthetic properties such as color or the bright.
  • the defects to be identified can generally be of two types: those that produce local variation of the surface geometry and those that produce a local variation of contrast or color.
  • the defects of the first group are spots or specks that have been adhered to the product before the painting process, being the most common defect. It is produced by the inclusions of dirt, foreign bodies and dust, which cause small and granular inequalities, almost always existing in large quantities and distributed more or less regularly, modifying the surface geometry locally.
  • defects are best detected where they become more visible when observed, when they are illuminated with structured light, near a border of light-dark light. That change in the light that is reflected in that area is what makes it possible, using artificial vision techniques on the images taken by cameras, to detect the defect.
  • Structured light reflection is essentially sensitive to curvature and, therefore, allows the detection of geometry variation defects that are imperceptible using traditional artificial vision techniques or triangulation techniques with direct projection on surfaces.
  • the principle of operation is based on the generation of relative movement between the surface to be examined and the light with which they are illuminated.
  • the defects of the second group are small scratches, stains etc., which can also be detected by diffuse lighting and gradient or contrast algorithms.
  • a high contrast structured light system is necessary, capable of enhancing the geometric defect by an optical phenomenon of amplification in the vicinity of the border of the illumination, and allowing to detect defects with greater precision and higher resolution.
  • An object of the present invention is, therefore, to obtain defect detection systems that allow obtaining accurate results, improving defect detection rates on the objects to be inspected.
  • the invention proposes the use of redundancy patterns in the gradients of the structured light used, and an adequate capture rate of the cameras, so that two-dimensional (2D) and three-dimensional (3D) filters can be used, by projection photogrammetric, to eliminate the vibrations, reflections and noises present in the production line of the objects.
  • 2D two-dimensional
  • 3D three-dimensional
  • Said object of the invention is preferably obtained by means of a system for detecting defects in specular or semi-specular surfaces of objects to be inspected, suitable for integration into an industrial production line, comprising:
  • the light emission means are arranged in the system so that the light emitted on the surface of the objects has a periodic pattern of light and shadow, where said pattern is emitted with a relative movement on the objects to inspect, crossing its surface.
  • the relative movement between the periodic pattern of light / shadow and the objects to be inspected occurs, either by the movement of said objects, the static emitted pattern remaining on them, or by the movement of the pattern emitted on the objects to be inspected. , while said objects remain static.
  • the cameras are capture cameras with an image acquisition frequency between 40-100 Hz. More preferably, the cameras are CCD or CMOS industrial cameras.
  • the light emitting means are means of direct illumination on the objects to be inspected. More preferably, said means comprise neon light emitting, fluorescent, or light emitting diodes (LEDs).
  • said means comprise neon light emitting, fluorescent, or light emitting diodes (LEDs).
  • the light emission means are means of indirect illumination on the objects, by means of projection or rear projection on one or more screens. More preferably, the indirect lighting means emit periodic patterns of light and shadow on the screens which, in turn, are reflected on the objects to be inspected.
  • the information control and analysis subsystem comprises process and treatment means by metric photographic projection of the images captured by the cameras, 2D and / or 3D filtering means for the identification of defects in said images, means of analyzing the color of the objects to be inspected, and / or means of representing objects and defects identified by augmented reality.
  • the system also comprises one or more of the following elements: high resolution lenses for cameras, one or more computers for processing and control of the system, one or more measuring elements for controlling position of objects and synchronize camera captures.
  • Another object of the invention relates to a method of identifying defects on surfaces of objects to be inspected, which comprises the use of a system according to any of the embodiments described herein, where said system is optionally integrated in a production line industrial objects to inspect.
  • the method of the invention comprises performing at least the following steps:
  • the surface of the objects to be inspected is illuminated with the light-emitting means, so that the light emitted on said surface has a periodic pattern of light and shadow, with a relative movement on the objects to be inspected;
  • the reflected light and the light emitted by means of the control and analysis subsystem are analyzed, through photogrammetric projection for the detection of surface defects.
  • the periodic pattern of light and shadow has an adaptive shape to the surface of the objects to be inspected, so that said pattern varies depending on the curvature of the inspected surface.
  • the system and method for detecting defects of the invention solves the technical problem of achieving the location and identification of the type of defect in the production line itself, by means of a robust and optimally shaped system, optionally incorporating tools augmented reality for subsequent efficient repair by an operator.
  • the system includes a series of cameras located so that they cover the entire surface to be investigated, where said cameras are prepared for the acquisition of high-speed images, which will then be treated using artificial vision algorithms in real time.
  • the lighting means consist of a set of light beams, or structured, high contrast patterns of light capable of enhancing the geometric defect by an optical phenomenon of amplification in the vicinity of the border of the lighting, it is that is, in the transits from light to dark and from dark to light newspapers of the lighting pattern employed. In these transits, the reflection of the light varies due to the local variation of curvature, which allows to highlight the defects with a diameter of up to ten times the size of the defect itself. It is this phenomenon that enables the system to detect small defects of micrometer size. It is necessary that the light that hits the surface be of high contrast, for example by light / shadow patterns.
  • Said set of light beams can be created by high frequency fluorescent tubes, LED lighting, or by projection or retro-projection of images with high contrast patterns on a screen that is reflected on the surface.
  • Lighting is one of the most important components of the system, since the success of a good recognition of the defect in the image depends largely on a good reflection of the light on the surface. As described in previous paragraphs, the invention raises two possible forms of lighting: direct and indirect.
  • the first lighting system direct lighting, is carried out through the use of neon tubes or high frequency LED or fluorescent lighting, fixed to the structure of the system (inspection tunnel, for example).
  • the reflection of this light generates a redundant pattern of fixed lines on the moving surface of the object, allowing a complete sweep of the surface of the objects.
  • the second system works by means of projectors.
  • the basic principle is to project or retro-project different patterns of high contrast structured light on a screen located in the vicinity of the object to be inspected and observe the scan of the patterns reflected in the mobile or fixed object.
  • different light patterns can be generated, such as points, straight lines, circumferences, crosses, squares, triangles, etc., being able to select the most appropriate lighting depending on the shape of the object to be controlled.
  • the light patterns may be fixed, adaptive to the surface, moving to certain positions to sweep or sequentially a light-dark pattern of the shapes described followed by their dark-light inverse pattern.
  • adaptive patterns vary the size of the reticle depending on the curvature of the surface to be inspected, so that the areas near the light-dark borders are of the minimum size suitable for the location of the defects.
  • the design of these patterns can also be done in a way that maximizes the number of amplifications per number of images so that the surface is scanned with the minimum number of images.
  • Both the shape and size of the pattern grid can be changed throughout the inspection to adapt to the curvature of the surface, when the product is in motion, or to sweep the entire surface when the product remains static.
  • Cameras are the other fundamental part of the system. These are arranged so that the total coverage of the area to be inspected is possible by inspection without contact, without interfering with the normal movement of the products along the manufacturing assembly line, and so that the light reflection angles maximize the detection of surface defects.
  • the defect detection system remains static on the support structure of the system.
  • the products to be inspected are those that can carry the movement (normal movement of the line without interfering with the speed of production and without deviations of the products) for scanning. These displacements of the products are obtained by means of a measurement system that captures the movement of the production line. Therefore, the system can be incorporated into the production line so that the production process time is not increased by the inspection of the products.
  • Another alternative proposed by the invention is to inspect static products, in which case it is necessary for the lighting means to sweep or cross the entire surface to be inspected.
  • the system is configured to capture images in a synchronized manner, between the cameras and the movement of the inspected product, as it moves along the production line.
  • the system Before possible stops of the production line, the system has a measuring element (encoder, distance meter, speedometer, vision camera, etc.) to control the position of the object and synchronize the capture of the cameras, so that it is not loses synchronism at any time of inspection.
  • a measuring element encoder, distance meter, speedometer, vision camera, etc.
  • the possibility of adapting the capture parameters (gain, exposure time, etc.) to the specific color of the inspected product is incorporated into the system, keeping those capture parameters updated in time and therefore reactive to possible variations in the sensitivity of the cameras and in the luminance of the lighting systems.
  • image captures After image captures, they are processed in real time using optimized image processing algorithms (image smoothing, highlighting of gray level gradients or contour detection) that allow defects to be detected by local level variations of gray
  • masks are applied to treat only the areas of interest of the captured images, thus increasing the process speed and avoiding reflections of unwanted areas.
  • the possible defect detected is monitored, taking into account both its physical behavior and its optical properties in consecutive images.
  • the 2D spatial information obtained in this process is treated to obtain the 3D spatial approximation of the defect detection, for this purpose different groups of homogeneous and symmetric polynomials formed by monomials with different heterogeneous variables, both spatial and temporal, are used.
  • Redundancy in image capture is also used as a self-diagnostic procedure thanks to the overlaps of the fields of vision of the cameras.
  • the defects detected in these overlapping zones allow calculation of camera mismatch errors.
  • the system can be configured to alert about the need to recalibrate the affected cameras.
  • the analysis of the images is carried out by means of several data processing units and with a central control PC.
  • the mechanism for calculating the processors performs all the arithmetic and logical operations with links to the data obtained.
  • the control PC controls the system in such a way that all operations are performed in the order of temporal and logical succession.
  • the main advantage of the invention is the large number of times a defect is detected thanks to the use of redundancy in the gradients of the structured light used and the capture rate of the cameras, so that the appropriate 2D and 2D filters can be used. 3D (by means of metric photographic projection) so that the vibrations, reflections and noises present in the production line are eliminated.
  • the object normally carries the movement, displacement of the production line itself, the light patterns remain static. This allows the relative movement between product and light to scan or explore the entire surface of the object, which, together with the developed treatment, detection and tracking algorithms allows inspection without interfering with the normal movement of the products in the manufacturing line .
  • the results are presented on the screen graphically or in augmented reality glasses, to facilitate the subsequent rapid repair of them.
  • Figure 1 shows a perspective view of the system of the invention, according to a preferred embodiment thereof based on direct illumination means, through fluorescent tubes.
  • Figure 2 shows a perspective view of the system of the invention, according to a preferred embodiment thereof based on direct lighting means, through a tunnel of LEDs.
  • Figure 3 shows a perspective view of the system of the invention, according to a preferred embodiment thereof based on indirect lighting means, through projection on screens.
  • Figure 4 shows a perspective view of the system of the invention, according to a preferred embodiment thereof, where said system is integrated in a production line of the objects to be inspected.
  • Figures 5-8 show lighting and projection patterns used in different embodiments of the present invention.
  • the surface defect detection system of the invention comprises:
  • a subsystem (not shown in Figures 1-4) for control and analysis of information associated with the light emitted by the light emitting means (1) and / or the light detected by the cameras (2).
  • a plurality of industrial vision cameras (2) of high frequency image capture per second typically between 40-100 Hz, for example CCD or CMOS cameras, will preferably be used.
  • the number and specific type of cameras that will be part of the system will depend on different parameters, such as the dimensions of the object to be inspected, maximum speed of the manufacturing chain and minimum size of the defect to be detected.
  • CMOS 40 Hz cameras can be used to detect defects of up to 0.1 mm in a 130 mm / second speed manufacturing line.
  • the elements of the defect detection system will remain fixed on the support structure (3) (for example a gantry structure in Figure 1), as the objects to be inspected move along the production line thereof.
  • the cameras (2) will acquire images of the objects, and then they will be processed by the control and analysis subsystem, obtaining three-dimensional (3D) information about the dimensions of the defects and their location on the surfaces of the objects. .
  • the objects to be inspected may remain static, with the light-emitting means (2) being those that scan their surfaces.
  • the lighting is carried out by means of direct light emission (1) on the objects, that is to say, said light affecting directly on the surfaces to be inspected.
  • Said means can be, more preferably, neon tubes or high frequency fluorescent tubes (Figure 1), or means based on light emitting diodes (LEDs) (see Figure 2, where said technique configured as a lighting tunnel is used on the objects to inspect).
  • LEDs light emitting diodes
  • FIG 4 An example of this type of lighting is shown in Figure 4, integrated into a system for detecting defects on automobile surfaces.
  • the light emitting means (1) are means of indirect illumination on the objects, by means of projection or rear projection.
  • the basic principle of this embodiment is to project or retro-project different light patterns on a screen (4) located in the vicinity of the object to be inspected, and observe the scan of the patterns reflected on the surface thereof.
  • An example of projection of a linear light pattern is shown in Figure 3, which behaves in an equivalent manner to the light provided by fluorescent tubes ( Figure 1).
  • the number of projectors that are necessary will be determined. For an example of car body inspection, a minimum of 3 projectors is necessary (one for the analysis of horizontal surfaces and two for the side surfaces of the car, as shown in Figure 3, also with a support structure ( 3) Gantry type).
  • the main advantage of the present invention is obtained by the arrangement of the light emission means (1), both in direct and indirect lighting, so that a periodic and high contrast lighting pattern is generated on the surfaces to be inspected.
  • This pattern generates periodic illumination with light and shadow zones, which allows the control and analysis system the successive calculation of multiple detections in the light / shadow border regions, providing a redundant analysis that helps both increase the detection rate of defects, such as limiting the appearance of false positives.
  • the direct lighting means or the selected projection pattern, it is possible to generate different contrast patterns (points, lines, circumferences, crosses, squares, etc.) depending on the geometric particularities of the object to inspect.
  • the patterns can be resized and adapted to the curvature of the inspected surface, so that the areas near the contrast borders have the minimum necessary size in the images to detect defects.
  • the light patterns will be generated in motion in one or more directions, so that the contrast borders run across the entire surface of the object.
  • indirect lighting allows great flexibility in the design of the patterns, both in their shape and in the size of the grid and their colors. For example, image sequences can be used in which the light pattern, instead of imitating the light stripes, becomes similar to a chess board ( Figure 5) or a grid of squares ( Figure 6).
  • the objective of using this type of pattern is to minimize the number of images necessary to analyze the entire surface of the product, maximizing the amplifications of the defects in the images thanks to indirect light coming from all possible directions on the defects, guaranteeing the highlight of the defect regardless of the positioning of the camera, of the dominant direction of the contrast strips of the lighting, of the direction of movement of these strips by movement of the inspected product, or of the lighting patterns.
  • the pattern design can also be adapted to this fact, for example the pattern shown in Figure 6 is designed to work in a dark area. An inverse pattern to this one would be suitable if you want to work in a clear area of the images.
  • the procedure for detecting surface defects associated with the system of the invention will now be described.
  • the surfaces of the objects to be inspected are illuminated with the light-emitting means (1) and the image capture by the cameras (2) is performed (in Figure 7, as an example, a pattern obtained for an LEDS tunnel as shown in Figure 2, in an embodiment based on direct illumination).
  • the geometry defects that can be observed in consecutive images are highlighted, especially around the contrast borders generated by the lighting pattern (see Figure 8).
  • the control and analysis subsystem can print or generate an inspection report, which will show the location of the defects, as well as their severity.
  • Such information may also be shown as 3D information on augmented reality glasses, for the subsequent optimized repair of these by means of procedures that the company deems appropriate.

Abstract

La presente invención se refiere a un sistema de detección de defectos en superficies especulares o semi-especulares de objetos a inspeccionar, apto para su integración en una línea de producción industrial, que comprende: una pluralidad de medios de emisión de luz (1) sobre los objetos; una pluralidad de cámaras (2) para la detección de la luz reflejada por los objetos; un subsistema de control y análisis fotogramétrico de información asociada a la luz emitida por los medios de emisión de luz (1) y a la luz detectada por las cámaras (2); y una estructura de soporte (3), integrada en la línea de producción de los objetos a inspeccionar, en la que se encuentran dispuestos los medios de emisión de luz (1) y las cámaras (2) del sistema. Ventajosamente, los medios de emisión de luz (1) se disponen en el sistema de forma que la luz emitida sobre la superficie de los objetos posee un patrón periódico de luz y sombra, y dicho patrón se emite con un movimiento relativo sobre los objetos a inspeccionar, recorriendo su superficie.

Description

SISTEMA Y MÉTODO DE DETECCIÓN DE DEFECTOS EN SUPERFICIES ESPECULARES O SEMI-ESPECULARES M EDIANTE PROYECCIÓN FOTOGRAM ÉTRICA
CAM PO DE LA INVENCIÓN
La presente invención se enmarca dentro del campo técnico correspondiente al análisis de superficies para la detección y localización de defectos o heterogeneidades. Su ámbito de aplicación se refiere principalmente a los procesos industriales donde los productos finales requieren un acabado de pintura, como ocurre en la industria automovilística, del transporte, de los electrodomésticos, etc. Más concretamente, la invención se refiere a un sistema de detección y localización de defectos en superficies especulares o semi-especulares de objetos, mediante proyección fotogramétrica, que puede ser utilizado en tiempo real en una cadena de fabricación o montaje industrial. La invención se refiere, asimismo, a un método de detección de defectos basado en dicho sistema.
ANTECEDENTES DE LA INVENCIÓN
Los tratamientos de pintura se utilizan habitualmente para mejorar las características superficiales de los productos industriales, tales como su resistencia a la corrosión, al desgaste, mejorar la adhesión de otros productos, estanqueidad para evitar entradas de agua, y propiedades estéticas tales como el color o el brillo.
Una vez terminado el tratamiento de pintura de dichos productos, se realiza habitualmente la inspección de los mismos en el marco de los procesos de control de calidad. Dicha inspección, en muchos casos, suele ser visual y realizada por operarios en instalaciones adecuadas, para tener la iluminación requerida y necesaria. No obstante, la decisión final de validación depende siempre de la visión y el análisis de la persona responsable de la inspección existiendo, por tanto, muchos condicionantes o situaciones no controladas (fatiga, estado de ánimo o distracciones) que pueden llevar a que algunos defectos no se detecten correctamente, permaneciendo en el producto final que llega al cliente.
Una vez un producto con un acabado defectuoso se encuentra ya fuera de la línea de producción, la reparación del acabado de su superficie conlleva una mayor complejidad logística y operativa, con el consiguiente impacto sobre los costes de producción. Por tanto, si la detección de defectos se realiza de forma eficiente en un primer control sobre la línea de producción, el coste asociado será mucho menor. Los defectos a identificar pueden ser, generalmente, de dos tipos: los que producen variación local de la geometría de la superficie y los que producen una variación local de contraste o color. Los defectos del primer grupo son puntos o motas que han quedado adheridas al producto antes del proceso de pintado, tratándose del defecto más común. Se produce por las inclusiones de suciedad, cuerpos extraños y polvo, que provocan desigualdades pequeñas y granuladas, existentes casi siempre en gran cantidad y repartidas con mayor o menor regularidad, modificando localmente la geometría de la superficie. Estos defectos se detectan mejor donde se hacen más visibles al observarlos, cuando se iluminan con luz estructurada, en las cercanías de una frontera de luz claro-oscuro. Ese cambio en la luz que se refleja en esa zona es el que hace posible, utilizando técnicas de visión artificial sobre las imágenes tomadas por cámaras, detectar el defecto. La reflexión de luz estructurada es esencialmente sensible a la curvatura y, por tanto, permite la detección de defectos de variación de geometría que son imperceptibles usando las técnicas de visión artificial tradicionales o las de triangulación con proyección directa sobre las superficies. El principio de funcionamiento se basa en la generación de movimiento relativo entre la superficie a examinar y la luz con la que se iluminan. Los defectos del segundo grupo son pequeños arañazos, manchas etc., que también se pueden detectar mediante iluminación difusa y algoritmos de gradiente o de contraste.
Existen sistemas de detección de abolladuras u ondulaciones, de profundidad típica de unas pocas mieras, destinados a la inspección de chapas para carrocerías de vehículos, basados en el uso de sensores ópticos 3D y de medios de procesamiento de las señales, como el descrito en el artículo "Visualization and Detection of Small Defects on Car-Bodies" (S. Karbacher et al.), publicado en Vision, Modeling and Visualization '99 (Proceedings), Infix, 1-8 (1999). Estos sistemas pueden comprender un pórtico integrado en una línea de producción de automóviles, donde se instala una pluralidad de fuentes de emisión de luz y cámaras para detectar la luz reflejada por las superficies de los automóviles. También incorporan un medio de adquisición de los datos generados por las fuentes de emisión y por las cámaras, así como un subsistema de proceso y análisis de defectos superficiales de los automóviles a inspeccionar.
Por otro lado, existen también referencias a sistemas de fotogrametría en tiempo real, basados en fotogrametría digital de corto alcance, para el análisis de deformaciones en carrocerías de automóviles en la línea de montaje, como el descrito en el artículo título "Automated Dimensional Inspection with Realtime Photogrammetry" (H.A. Beyer), publicado en ISPRS Journal of Photogrammetry and Remote Sensing, Volume 50, Issue 3, p.20-26 (1995). Este sistema se basa en el uso de cámaras CCD para la inspección de los automóviles, junto con hardware y software utilizados para al análisis de los datos obtenidos.
Si bien los sistemas antes descritos y sus procedimientos asociados sirven para detectar heterogeneidades superficiales en los productos mediante diferentes técnicas, el principal problema de todos ellos es que comprenden una alta tasa de error en la identificación de defectos de pequeñas dimensiones, debido a la interferencia generada por vibraciones y ruidos debidos al movimiento en la línea de producción. Asimismo, los citados sistemas no son aptos para el análisis de productos de superficies especulares o semi- especulares de diferentes colores en una misma línea de producción.
Por otra parte, se hace necesario un sistema de luz estructurada de alto contraste, capaz de realzar el defecto geométrico por un fenómeno óptico de amplificación en las proximidades de la frontera de la iluminación, y que permita detectar defectos con mayor precisión y mayor resolución.
Se plantea, por tanto, la necesidad de solucionar los problemas existentes actualmente en los procedimientos de detección conocidos, para mejorar la precisión y la calidad de la imagen obtenida y así obtener resultados más precisos en la detección de defectos, reduciendo a su vez la aparición de falsos positivos.
DESCRIPCIÓN BREVE DE LA INVENCIÓN
Un objeto de la presente invención es, pues, la obtención de sistemas de detección de defectos que permitan obtener resultados precisos, mejorando tasas de detección de defectos en los objetos a inspeccionar. Para ello, la invención propone el uso de patrones de redundancia en los gradientes de la luz estructurada utilizada, y una velocidad de captura adecuada de las cámaras, de forma que se puedan utilizar filtros bidimensionales (2D) y tridimensionales (3D), mediante proyección fotogramétrica, para eliminar las vibraciones, reflejos y ruidos presentes en la línea de producción de los objetos. En la inspección en fábrica, normalmente el objeto a inspeccionar se encuentra en movimiento, debido al desplazamiento de la propia línea de producción, permaneciendo estáticos los patrones de luz. Esto permite que el movimiento relativo entre producto y luz explore toda la superficie del objeto lo que, junto con los algoritmos de tratamiento, detección y seguimiento adecuados al efecto, permite la inspección sin interferir en el movimiento normal de los productos en la línea de fabricación. Dicho objeto de la invención se obtiene, preferentemente, mediante un sistema de detección de defectos en superficies especulares o semi-especulares de objetos a inspeccionar, apto para su integración en una línea de producción industrial, que comprende:
- una pluralidad de medios de emisión de luz sobre los objetos;
- una pluralidad de cámaras para la detección de la luz reflejada por los objetos;
- un subsistema de control y análisis fotogramétrico de información asociada a la luz emitida por los medios de emisión de luz y a la luz detectada por las cámaras; y
- una estructura de soporte en la que se encuentran dispuestos los medios de emisión de luz y las cámaras del sistema.
Ventajosamente, y para generar el análisis redundante de los defectos, los medios de emisión de luz se disponen en el sistema de forma que la luz emitida sobre la superficie de los objetos posee un patrón periódico de luz y sombra, donde dicho patrón se emite con un movimiento relativo sobre los objetos a inspeccionar, recorriendo su superficie. El movimiento relativo existente entre el patrón periódico de luz/sombra y los objetos a inspeccionar se produce, bien por el movimiento de dichos objetos, permaneciendo el patrón emitido estático sobre los mismos, o bien por el movimiento del patrón emitido sobre los objetos a inspeccionar, mientras dichos objetos permanecen estáticos. En una realización preferente de la invención, las cámaras son cámaras de captura con una frecuencia de adquisición de imágenes comprendida entre 40-100 Hz. Más preferentemente, las cámaras son cámaras industriales de tipo CCD o CMOS.
En otra realización preferente de la invención, los medios de emisión de luz son medios de iluminación directa sobre los objetos a inspeccionar. Más preferentemente, dichos medios comprenden emisores de luz de neón, fluorescentes, o diodos emisores de luz (LEDs).
En otra realización preferente de la invención, los medios de emisión de luz son medios de iluminación indirecta sobre los objetos, por medio de proyección o retroproyección sobre una o más pantallas. Más preferentemente, los medios de iluminación indirecta emiten patrones periódicos de luz y sombra sobre las pantallas que, a su vez, se reflejan sobre los objetos a inspeccionar.
En otra realización preferente de la invención, el subsistema de control y análisis de información comprende medios de proceso y tratamiento mediante proyección fotog ra métrica de las imágenes captadas por las cámaras, medios de filtrado 2D y/o 3D para la identificación de defectos en dichas imágenes, medios de análisis del color de los objetos a inspeccionar, y/o medios de representación de los objetos y los defectos identificados mediante realidad aumentada.
En otra realización preferente de la invención, el sistema comprende asimismo uno o más de los siguientes elementos: lentes de alta resolución para las cámaras, uno o más ordenadores para el procesado y control del sistema, uno o más elementos de medición para controlar la posición de los objetos y sincronizar las capturas de las cámaras.
Otro objeto de la invención se refiere a un método de identificación de defectos en superficies de objetos a inspeccionar, que comprende el uso de un sistema según cualquiera de las realizaciones descritas en el presente documento, donde dicho sistema está opcionalmente integrado en una línea de producción industrial de los objetos a inspeccionar.
El método de la invención comprende la realización de, al menos, los siguientes pasos:
- se ilumina la superficie de los objetos a inspeccionar con los medios de emisión de luz, de forma que la luz emitida sobre dicha superficie posee un patrón periódico de luz y sombra, con un movimiento relativo sobre los objetos a inspeccionar;
- se registra la luz reflejada por los objetos por medio de las cámaras;
- se analiza la luz reflejada y la luz emitida por medio del subsistema de control y análisis, a través de proyección fotogramétrica para la detección de defectos en las superficies.
En una realización preferente del método de la invención, el patrón periódico de luz y sombra posee una forma adaptativa a la superficie de los objetos a inspeccionar, de forma que dicho patrón varíe en función de la curvatura de la superficie inspeccionada. En líneas generales, el sistema y el método para la detección de defectos de la invención resuelve el problema técnico de conseguir la localización e identificación del tipo de defecto en la propia línea de producción, mediante un sistema robusto y de forma óptima, incorporando opcionalmente herramientas de realidad aumentada para su posterior reparación eficiente por parte de un operador.
El sistema incluye una serie de cámaras situadas de manera que cubran la totalidad de la superficie a investigar, donde dichas cámaras están preparadas para la adquisición de imágenes a alta velocidad, que después se tratarán mediante algoritmos de visión artificial en tiempo real.
Como se ha mencionado, los medios de iluminación consisten en un conjunto de haces de luz, o patrones de luz estructurada, de alto contraste capaces de realzar el defecto geométrico por un fenómeno óptico de amplificación en las proximidades de la frontera de la iluminación, es decir, en los tránsitos de claro a oscuro y de oscuro a claro periódicos del patrón de iluminación empleado. En estos tránsitos, la reflexión de la luz varía debido a la variación local de curvatura, lo que permite resaltar los defectos con un diámetro de hasta diez veces el tamaño del propio defecto. Es este fenómeno el que capacita al sistema para detectar defectos pequeños de tamaño micrométrico. Es necesario que la luz que incida sobre la superficie sea de alto contraste, por ejemplo mediante patrones luz/sombra. Dicho conjunto de haces de luz puede ser creado por tubos fluorescentes a alta frecuencia, iluminación LED, o mediante la proyección o retro-proyección de imágenes con patrones de alto contraste sobre una pantalla que se refleje en la superficie.
La iluminación es uno de los componentes de mayor importancia del sistema, ya que el éxito de un buen reconocimiento del defecto en la imagen depende en gran medida de una buena reflexión de la luz en la superficie. Según lo descrito en párrafos anteriores, la invención plantea dos posibles formas de iluminación: directa e indirecta.
El primer sistema de iluminación, iluminación directa, se lleva a cabo mediante el uso de tubos de neón o iluminación LED o fluorescentes de alta frecuencia, fijos a la estructura del sistema (túnel de inspección, por ejemplo). El reflejo de esta luz genera un patrón redundante de líneas fijo sobre la superficie móvil del objeto, permitiendo un barrido completo de la superficie de los objetos.
El segundo sistema, iluminación indirecta, funciona mediante proyectores. El principio básico es proyectar o retro-proyectar diferentes patrones de luz estructurada de alto contraste sobre una pantalla situada en las proximidades del objeto a inspeccionar y observar el barrido de los patrones reflejados en el objeto móvil o fijo. Con esta técnica se pueden generar diferentes patrones de luz, como pueden ser puntos, líneas rectas, circunferencias, cruces, cuadrados, triángulos, etc., pudiendo seleccionar la iluminación más adecuada en función de la forma del objeto a controlar. Los patrones de luz podrán ser fijos, adaptativos a la superficie, en movimiento a ciertas posiciones para realizar el barrido o secuencialmente un patrón claro- oscuro de las formas descritas seguido de su patrón inverso oscuro-claro. Como se ha mencionado previamente, los patrones adaptativos varían el tamaño de la retícula en función de la curvatura de la superficie a inspeccionar, de forma que las zonas cercanas a las fronteras claro-oscuro sean del tamaño mínimo adecuado para la localización de los defectos. El diseño de estos patrones también puede ser realizado de forma que se maximice el número de amplificaciones por número de imágenes de forma que se explore la superficie con el número mínimo de imágenes. Tanto la forma como el tamaño de la retícula del patrón pueden ir cambiando a lo largo de la inspección para adaptarse a la curvatura de la superficie, cuando el producto está en movimiento, o para barrer toda la superficie cuando el producto se mantiene estático.
Las cámaras son la otra parte fundamental del sistema. Éstas están dispuestas de modo que sea posible la cobertura total del área a inspeccionar mediante inspección sin contacto, sin interferir en el normal movimiento de los productos por la línea de montaje de fabricación, y de forma que los ángulos de reflexión de la luz maximicen la detección de los defectos superficiales. El sistema de detección de defectos permanece estático sobre la estructura de soporte del sistema. Son los productos a inspeccionar los que pueden llevar el movimiento (movimiento normal de la línea sin interferir en la velocidad de producción y sin ser necesario desvíos de los productos) para su escaneado. Estos desplazamientos de los productos se obtienen mediante un sistema de medida que capta el movimiento de la línea de producción. Por lo tanto el sistema se puede incorporar a la línea de producción haciendo que el tiempo del proceso productivo no se vea aumentado por la inspección de los productos.
Otra alternativa planteada por la invención es inspeccionar productos estáticos, en cuyo caso es necesario que los medios de iluminación barran o recorran toda la superficie a inspeccionar.
Para la captura de las imágenes se dispone de cámaras de visión industrial, cuya alta frecuencia de captura posibilita la detección de defectos aunque existan posibles vibraciones asociadas al movimiento de los productos en su inspección. Para determinar el número y tipo de cámaras que forman parte del sistema se tienen que tener en cuenta la velocidad máxima de la línea de producción, la anchura máxima a inspeccionar, los diferentes cambios o inclinaciones de la normal a la superficie y el tamaño de defecto mínimo a detectar.
El sistema está configurado para capturar imágenes de manera sincronizada, entre las cámaras y el movimiento del producto inspeccionado, según se desplaza en la línea de producción. Ante posibles paradas de la línea de producción, el sistema dispone de un elemento de medición (encoder, distanciómetro, velocímetro, cámara de visión, etc.) para controlar la posición del objeto y sincronizar la captura de las cámaras, de forma que no se pierde el sincronismo en ningún momento de la inspección. Para capturar de forma óptima las imágenes de productos de diferentes colores, se incorpora al sistema la posibilidad de adecuar los parámetros de captura (ganancia, tiempo de exposición, etc.) al color específico del producto inspeccionado, manteniendo esos parámetros de captura actualizados en el tiempo y por tanto reactivos a posibles variaciones en la sensibilidad de las cámaras y en la luminancia de los sistemas de iluminación.
Después de las capturas de imágenes, éstas se procesan en tiempo real mediante algoritmos optimizados de tratamiento de imágenes (de suavizado de imagen, de resalte de gradientes de niveles de gris o de detección de contornos) que permitan detectar los defectos por variaciones locales del nivel de gris.
Se aplican, además, máscaras para tratar solo las zonas de interés de las imágenes capturadas, aumentando así la velocidad de proceso y evitando reflejos de zonas no deseadas. Con el objetivo de que el sistema tenga elevada capacidad de localización de defectos y no presente falsos positivos, durante la inspección 2D se realiza un seguimiento del posible defecto detectado, teniendo en cuenta tanto su comportamiento físico como sus propiedades ópticas en imágenes consecutivas. A su vez, la información espacial 2D obtenida en este proceso es tratada para obtener la aproximación espacial 3D de la detección del defecto, para ello se utilizan distintos grupos de polinomios homogéneos y simétricos formados por monomios con distintas variables heterogéneas, tanto espaciales como temporales. Cruzando estas informaciones y aplicando distintos tratamientos estadísticos a los datos obtenidos en ambos procesos es posible determinar con la suficiente confianza, si una detección positiva del sistema es debida a un defecto o a un reflejo espurio sobre la superficie inspeccionada, lo que permite realizar un filtrado a partir de la información 2D eliminando los falsos positivos que se puedan producir. Además, la obtención de las coordenadas 3D de los defectos mediante proyección fotogramétrica de los posibles defectos 2D en la superficie nominal del producto inspeccionado permite la mejora del tratamiento, al integrar un filtrado de agrupamiento en 3D, con el que se consigue reforzar las prestaciones del sistema utilizando alta redundancia.
La redundancia en la captura de las imágenes también se usa como procedimiento de autodiagnóstico gracias a los solapes de los campos de visión de las cámaras. Los defectos detectados en estas zonas de solape permiten calcular los errores de desajuste de las cámaras. Cuando la diferencia entre las coordenadas 3D de los defectos supera un umbral, el sistema puede configurarse para alertar acerca de la necesidad de recalibrar las cámaras afectadas.
El análisis de las imágenes se efectúa mediante varias unidades de tratamiento de datos y con un PC de control central. El mecanismo de cálculo de los procesadores realiza todas las operaciones aritméticas y lógicas con enlace de los datos obtenidos. El PC de control controla el sistema de tal modo que todas las operaciones se realizan en el orden de sucesión temporal y lógico. La principal ventaja de la invención es el gran número de veces que se detecta un defecto gracias al uso de redundancia en los gradientes de la luz estructurada utilizada y la velocidad de captura de las cámaras, de forma que se puedan utilizar los filtros adecuados 2D y 3D (mediante proyección fotog ra métrica) para que se eliminen las vibraciones, reflejos y ruidos presentes en la línea de producción. En la inspección normalmente el objeto lleva el movimiento, desplazamiento de la propia línea de producción, permaneciendo estáticos los patrones de luz. Esto permite que el movimiento relativo entre producto y luz escanee o explore toda la superficie del objeto, lo que, junto con los algoritmos de tratamiento, detección y seguimiento desarrollados permite la inspección sin interferir en el movimiento normal de los productos en la línea de fabricación.
Una vez obtenidas las coordenadas 3D de los defectos, su catalogación y gravedad, los resultados se presentan por pantalla de manera gráfica o en gafas de realidad aumentada, para facilitar la posterior reparación rápida de los mismos.
DESCRIPCIÓN DE LAS FIGURAS
La Figura 1 muestra una vista en perspectiva del sistema de la invención, según una realización preferente de la misma basada en medios de iluminación directa, a través de tubos fluorescentes.
La Figura 2 muestra una vista en perspectiva del sistema de la invención, según una realización preferente de la misma basada en medios de iluminación directa, a través de un túnel de LEDs.
La Figura 3 muestra una vista en perspectiva del sistema de la invención, según una realización preferente de la misma basada en medios de iluminación indirecta, a través de proyección sobre pantallas.
La Figura 4 muestra una vista en perspectiva del sistema de la invención, según una realización preferente de la misma, donde dicho sistema se encuentra integrado en una línea de producción de los objetos a inspeccionar. En las Figuras 5-8 se muestran patrones de iluminación y proyección empleados en diferentes realizaciones de la presente invención.
DESCRIPCIÓN DETALLADA DE LA INVENCIÓN Se procede a continuación a describir diferentes ejemplos de realizaciones preferidas de la invención, aportadas con fines ilustrativos pero no limitativos de la misma. Haciendo referencia a las Figuras 1-4 del presente documento, el sistema de detección de defectos en superficies de la invención comprende:
- una pluralidad de medios de emisión de luz (1) sobre las superficies de uno o más objetos a inspeccionar;
- una pluralidad de cámaras (2) de registro de la luz reflejada por dichas superficies;
- una estructura de soporte (3) estática, integrada en la línea de producción de los objetos a inspeccionar, en la que se encuentran dispuestos los medios de emisión de luz (1) y las cámaras (2) del sistema;
- un subsistema (no mostrado en las Figuras 1-4) de control y análisis de información asociada a la luz emitida por los medios de emisión de luz (1) y/o a la luz detectada por las cámaras (2). Para la captura de imágenes de las superficies a inspeccionar, se utilizará preferentemente una pluralidad de cámaras (2) de visión industrial de alta frecuencia de captura de imágenes por segundo, típicamente comprendida entre 40-100 Hz, por ejemplo cámaras CCD o CMOS. El número y tipo concreto de cámaras que formarán parte del sistema dependerá de diferentes parámetros, tales como las dimensiones del objeto a inspeccionar, velocidad máxima de la cadena de fabricación y tamaño mínimo del defecto a detectar. Por ejemplo, para la inspección completa de la carrocería de un vehículo se pueden utilizar 25-30 cámaras CMOS de 40 Hz para detectar defectos de hasta 0, 1 mm en una cadena de fabricación de velocidad 130 mm/segundo. Como se ha mencionado, los elementos del sistema de detección de defectos permanecerán fijos sobre la estructura de soporte (3) (por ejemplo una estructura de pórtico en la Figura 1), a medida que los objetos a inspeccionar se desplazan en la línea de producción de los mismos. Durante dicho desplazamiento, las cámaras (2) irán adquiriendo imágenes de los objetos, para posteriormente se procesadas por el subsistema de control y análisis obteniendo información tridimensional (3D) acerca de las dimensiones de los defectos y de su situación en las superficies de los objetos. Para la toma de las imágenes (es decir, el adecuado registro de la luz reflejada sobre los objetos), es necesario utilizar medios de emisión de luz (1) adecuados, ya que el éxito de un buen reconocimiento de imagen depende en gran medida de una buena iluminación. Alternativamente, los objetos a inspeccionar pueden permanecer estáticos, siendo los medios de emisión de luz (2) los que realizan un barrido de sus superficies.
En una primera realización preferente de la invención, la iluminación se realiza a través de medios de emisión de luz (1) directa sobre los objetos, es decir, incidiendo dicha luz directamente sobre las superficies a inspeccionar. Dichos medios pueden ser, más preferentemente, tubos de neón o tubos fluorescentes de alta frecuencia (Figura 1), o medios basados en diodos emisores de luz (LEDs) (ver Figura 2, donde se utiliza dicha técnica configurada como un túnel de iluminación sobre los objetos a inspeccionar). En la Figura 4 se muestra un ejemplo de este tipo de iluminación, integrada en un sistema para la detección de defectos en superficies de automóviles.
En una segunda realización preferente de la invención (Figura 3), los medios de emisión de luz (1) son medios de iluminación indirecta sobre los objetos, por medio de proyección o retroproyección. El principio básico de esta realización es proyectar o retro-proyectar diferentes patrones de luz sobre una pantalla (4) situada en las proximidades del objeto a inspeccionar, y observar el barrido de los patrones reflejados en la superficie del mismo. En la Figura 3 se muestra un ejemplo de proyección de un patrón de luz lineal, que se comporta de forma equivalente a la luz proporcionada por tubos fluorescentes (Figura 1). Dependiendo del tipo de objeto a inspeccionar, se determinará el número de proyectores que son necesarios. Para un ejemplo de inspección de carrocerías de automóviles, resulta necesario un mínimo de 3 proyectores (uno para el análisis de las superficies horizontales y dos para las superficies laterales del automóvil, según se muestra en la Figura 3, también con una estructura de soporte (3) de tipo pórtico).
La principal ventaja de la presente invención se obtiene mediante la disposición de los medios de emisión de luz (1), tanto en iluminación directa como indirecta, de forma que se genere un patrón de iluminación periódico y de alto contraste sobre las superficies a inspeccionar. Este patrón genera una iluminación periódica con zonas de luz y sombra, que permite al sistema de control y análisis el cálculo sucesivo de múltiples detecciones en las regiones de frontera de luz/sombra, proporcionando un análisis redundante que ayuda tanto a aumentar la tasa de detección de defectos, como a limitar la aparición de falsos positivos.
Dependiendo de la forma y la disposición de los medios de iluminación directa, o del patrón de proyección seleccionado, es posible generar diferentes patrones de contraste (puntos, líneas, circunferencias, cruces, cuadrados, etc.) en función de las particularidades geométricas del objeto a inspeccionar. En el caso de que el producto inspeccionado esté en movimiento en la línea de fabricación, los patrones pueden ir cambiando de tamaño y adaptándose a la curvatura de la superficie inspeccionada, de forma que las áreas cercanas a las fronteras de contraste tengan el tamaño mínimo necesario en las imágenes para realizar la detección de los defectos. Asimismo, en el caso de que el producto permanezca inmóvil durante su inspección en línea de fabricación, los patrones de luz se generarán en movimiento en una o varias direcciones, para que las fronteras de contraste recorran toda la superficie del objeto. Como se ha mencionado, la iluminación indirecta permite una gran flexibilidad en el diseño de los patrones, tanto en su forma como en el tamaño de retícula y sus colores. Por ejemplo, se pueden utilizar secuencias de imágenes en las que el patrón de luz, en lugar de imitar las franjas de luz, pasa a asemejarse a un tablero de ajedrez (Figura 5) o una retícula de cuadrados (Figura 6).
El objetivo de utilizar este tipo de patrones es minimizar el número de imágenes necesarias para analizar toda la superficie del producto, maximizando las amplificaciones de los defectos en las imágenes gracias a que sobre los defectos incida luz indirecta desde todas las direcciones posibles, garantizando el resalte del defecto independientemente del posicionamiento de la cámara, de la dirección dominante de las franjas de contraste de la iluminación, de la dirección de movimiento de estas franjas por movimiento del producto inspeccionado, o de los patrones de iluminación.
También, en función del color de la pintura, puede resultar necesario localizar los defectos en las zonas claras u oscuras de las imágenes registradas por las cámaras (2). El diseño de los patrones también se puede adaptar a este hecho, por ejemplo el patrón mostrado en la Figura 6 está diseñado para trabajar en una zona oscura. Un patrón inverso a éste sería adecuado si se quiere trabajar en una zona clara de las imágenes.
Mediante este sistema de iluminación basado en proyección o retro-proyección, se pueden también intercalar patrones homogéneos de diferentes colores y niveles de gris, que optimicen la detección de defectos de contraste utilizando las mismas cámaras (2) con las que se detectan los defectos de geometría.
Se procede a continuación a describir el procedimiento de detección de los defectos en superficies asociado al sistema de la invención. En primer lugar, se iluminan las superficies de los objetos a inspeccionar con los medios de emisión de luz (1) y se realiza la captura de imágenes por parte de las cámaras (2) (en la Figura 7, como ejemplo, se muestra un patrón obtenido para un túnel de LEDS como el mostrado en la Figura 2, en una realización basada en iluminación directa). Orientando las cámaras (2) con un ángulo de visión respecto de la superficie a inspeccionar se resaltan los defectos de geometría que se pueden observar en imágenes consecutivas, especialmente alrededor de las fronteras de contraste generadas por el patrón de iluminación (ver Figura 8).
Una vez introducida la información en los ordenadores éstos procesan, mediante algoritmos y filtros 2D y con la calibración de las cámaras, la proyección fotog ra métrica y a la determinación de la ubicación del defecto durante la inspección de forma sincronizada. A las capturas de las cámaras (2) de visión se les aplican también filtros 3D, y se obtiene una única información fusionada de los defectos en la superficie a inspeccionar. El sistema tiene la posibilidad de adecuar los parámetros de captura (ganancia, tiempo de exposición, etc.) al color específico del producto inspeccionado y también de mantener esos parámetros de captura actualizados en el tiempo y, por tanto, siendo reactivo a posibles variaciones en la sensibilidad de las cámaras y en la luminancia de los sistemas de iluminación. Con el resultado de la inspección, el subsistema de control y análisis podrá imprimir o generar un informe de inspección, que mostrará la localización de los defectos, así como su gravedad. Dicha información podrá mostrarse, asimismo, como información 3D en gafas de realidad aumentada, para la posterior reparación optimizada de éstos por medio de los procedimientos que la empresa estime oportunos.

Claims

REIVINDICACIONES
1 .- Sistema de detección de defectos en superficies especulares o semi-especulares de objetos a inspeccionar, apto para su integración en una línea de producción industrial, que comprende:
- una pluralidad de medios de emisión de luz (1) sobre los objetos;
- una pluralidad de cámaras (2) para la detección de la luz reflejada por los objetos;
- un subsistema de control y análisis fotogramétrico de información asociada a la luz emitida por los medios de emisión de luz (1 ) y a la luz detectada por las cámaras (2);
- una estructura de soporte (3) en la que se encuentran dispuestos los medios de emisión de luz (1) y las cámaras (2) del sistema;
estando el sistema caracterizado por que los medios de emisión de luz (1 ) se disponen en el sistema de forma que la luz emitida sobre la superficie de los objetos posee un patrón periódico de luz y sombra, y por que dicho patrón posee un movimiento relativo respecto a los objetos a inspeccionar, para el recorrido su superficie.
2 - Sistema según la reivindicación anterior, donde las cámaras (1) son cámaras de captura con una frecuencia de adquisición de imágenes comprendida entre 40-100 Hz.
3.- Sistema según cualquiera de las reivindicaciones anteriores, donde las cámaras (1 ) son cámaras industriales CCD o CMOS.
4. - Sistema según cualquiera de las reivindicaciones anteriores, donde los medios de emisión de luz (1) comprenden medios de iluminación directa sobre los objetos.
5. - Sistema según la reivindicación anterior, donde los medios de emisión de luz (2) comprenden emisores de luz de neón, fluorescentes, o LEDs.
6. - Sistema según cualquiera de las reivindicaciones anteriores, donde los medios de emisión de luz (2) comprenden medios de iluminación indirecta sobre los objetos, por medio de proyección o retroproyección sobre una o más pantallas (4).
7. - Sistema según la reivindicación anterior, donde los medios de emisión de luz (2) emiten patrones periódicos de luz y sombra sobre las pantallas (4) que, a su vez, se reflejan sobre los objetos a inspeccionar.
8. - Sistema según cualquiera de las reivindicaciones anteriores, donde el movimiento relativo existente entre el patrón periódico de luz/sombra y los objetos a inspeccionar se produce por el movimiento de dichos objetos, permaneciendo el patrón emitido estático sobre los mismos.
9. - Sistema según cualquiera de las reivindicaciones 1-7, donde el movimiento relativo existente entre el patrón periódico de luz/sombra y los objetos a inspeccionar se produce por el movimiento en una o varias direcciones del patrón emitido sobre los objetos a inspeccionar, mientras dichos objetos permanecen estáticos.
10. - Sistema según cualquiera de las reivindicaciones anteriores, donde el subsistema de control y análisis de información comprende medios de proceso y tratamiento mediante proyección fotog ra métrica de las imágenes captadas por las cámaras (2), medios de filtrado 2D y/o 3D para la identificación de defectos en dichas imágenes, medios de análisis del color de los objetos a inspeccionar, y/o medios de representación de los objetos y los defectos identificados mediante realidad aumentada.
1 1. - Sistema según cualquiera de las reivindicaciones anteriores, que comprende asimismo uno o más de los siguientes elementos: lentes de alta resolución para las cámaras (2), uno o más ordenadores para el procesado y control del sistema, uno o más elementos de medición para controlar la posición de los objetos y sincronizar las capturas de las cámaras (2).
12. - Método de identificación de defectos en superficies especulares o semi-especulares de objetos a inspeccionar, caracterizado por que comprende el uso de un sistema según cualquiera de las reivindicaciones anteriores, y la realización de los siguientes pasos:
- se ilumina la superficie de los objetos a inspeccionar con los medios de emisión de luz (1), de forma que la luz emitida sobre dicha superficie posee un patrón periódico de luz y sombra, con un movimiento relativo sobre los objetos a inspeccionar;
- se registra la luz reflejada por los objetos por medio de las cámaras (2);
- se analiza la luz reflejada y la luz emitida por medio del subsistema de control y análisis, a través de proyección fotogramétrica, para la detección de defectos en las superficies.
13 - Método según la reivindicación anterior, donde el sistema de detección se encuentra integrado en una línea de producción industrial de los objetos a inspeccionar. 14.- Método según cualquiera de las reivindicaciones 12-13, donde el patrón periódico de luz y sombra emitido posee una forma adaptativa a la superficie de los objetos a inspeccionar, de modo que dicho patrón varíe en función de la curvatura de la superficie inspeccionada. 15 - Método según cualquiera de las reivindicaciones 12-14, donde el patrón periódico de luz y sombra emitido es un patrón ajedrezado, una retícula de cuadrados o triángulos, o un patrón de puntos, líneas rectas, circunferencias o cruces.
PCT/ES2016/070865 2015-12-07 2016-12-07 Sistema y método de detección de defectos en superficies especulares o semi-especulares mediante proyección fotogramétrica WO2017098071A1 (es)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP16872466.4A EP3388781B1 (en) 2015-12-07 2016-12-07 System and method for detecting defects in specular or semi-specular surfaces by means of photogrammetric projection
PL16872466.4T PL3388781T3 (pl) 2015-12-07 2016-12-07 Układ i sposób do wykrywania defektów na powierzchniach zwierciadlanych lub odzwierciedlanych za pomocą rzutowania fotogrametrycznego

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
ESP201531776 2015-12-07
ES201531776A ES2630736B1 (es) 2015-12-07 2015-12-07 Sistema y método de detección de defectos en superficies especulares o semi-especulares mediante proyección fotogramétrica

Publications (1)

Publication Number Publication Date
WO2017098071A1 true WO2017098071A1 (es) 2017-06-15

Family

ID=59013749

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/ES2016/070865 WO2017098071A1 (es) 2015-12-07 2016-12-07 Sistema y método de detección de defectos en superficies especulares o semi-especulares mediante proyección fotogramétrica

Country Status (5)

Country Link
EP (1) EP3388781B1 (es)
ES (1) ES2630736B1 (es)
MA (1) MA43424A (es)
PL (1) PL3388781T3 (es)
WO (1) WO2017098071A1 (es)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020021808A1 (ja) * 2018-07-26 2020-01-30 コニカミノルタ株式会社 表面検査装置および表面検査方法
CN113639714A (zh) * 2021-08-04 2021-11-12 深圳市亚锐智能科技有限公司 一种基于铝金属片金属片数量检测设备
CN114527072A (zh) * 2022-02-05 2022-05-24 上海研视信息科技有限公司 一种基于结构光扫描的钢板缺陷检测系统
CN116106330A (zh) * 2023-04-17 2023-05-12 武汉名杰模塑有限公司 一种汽车保险杠漆面缺陷检测装置及其检测方法

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020188319A1 (en) * 2019-03-19 2020-09-24 Dehghanian Hosseinali Photogrammetric augmented reality based inspection system
DE102019209934B4 (de) 2019-07-05 2024-02-15 Psa Automobiles Sa Elektronisches Gerät und Verfahren zur Visualisierung von Oberflächendefekten eines Werkstücks
GB2582397B (en) * 2019-10-04 2022-05-18 Degould Ltd Vehicle imaging station
WO2021099648A1 (es) * 2019-11-18 2021-05-27 Asociacion Centro Tecnologico Ceit Sistema de control dimensional mediante vision fotogrametrica
WO2021151412A1 (de) * 2020-01-27 2021-08-05 Jan Nabatian Vorrichtung und verfahren zur automatischen erkennung von beschädigungen an fahrzeugen
CN111650208B (zh) * 2020-06-01 2021-08-27 东华大学 一种巡游式机织面料疵点在线检测器
DE102020215599A1 (de) 2020-12-10 2022-06-15 Psa Automobiles Sa Vorrichtung zur Kennzeichnung von Oberflächendefekten auf einem Werkstück
DE102021202329A1 (de) 2021-03-10 2022-09-15 Psa Automobiles Sa Bearbeitungsgerät und System zur Bearbeitung von Oberflächendefekten von Werkstücken

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5471307A (en) * 1992-09-21 1995-11-28 Phase Shift Technology, Inc. Sheet flatness measurement system and method
DE19944354A1 (de) * 1999-09-16 2001-04-12 Haeusler Gerd Verfahren und Vorrichtung zur Ermittlung der Form oder der Abbildungseigenschaften von spiegelnden oder transparenten Objekten
JP2003329428A (ja) * 2002-05-16 2003-11-19 Sumitomo Chem Co Ltd 表面検査装置及び表面検査方法
US20110141483A1 (en) * 2009-12-14 2011-06-16 Academia Sinica Optical profilometry
CN102445167A (zh) * 2010-09-30 2012-05-09 旭硝子株式会社 表面形状的评价方法以及评价装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3712513A1 (de) * 1987-04-13 1988-11-03 Roth Electric Gmbh Verfahren und vorrichtung zur erkennung von oberflaechenfehlern
US5477268A (en) * 1991-08-08 1995-12-19 Mazda Motor Corporation Method of and apparatus for finishing a surface of workpiece
JP2976869B2 (ja) * 1995-12-28 1999-11-10 日産自動車株式会社 表面欠陥検査装置
US6266138B1 (en) * 1999-10-12 2001-07-24 Perceptron, Inc. System and method for detecting defects in a surface of a workpiece
WO2011144964A1 (en) * 2010-05-17 2011-11-24 Ford Espana S.L. Inspection system and method of defect detection on specular surfaces

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5471307A (en) * 1992-09-21 1995-11-28 Phase Shift Technology, Inc. Sheet flatness measurement system and method
DE19944354A1 (de) * 1999-09-16 2001-04-12 Haeusler Gerd Verfahren und Vorrichtung zur Ermittlung der Form oder der Abbildungseigenschaften von spiegelnden oder transparenten Objekten
JP2003329428A (ja) * 2002-05-16 2003-11-19 Sumitomo Chem Co Ltd 表面検査装置及び表面検査方法
US20110141483A1 (en) * 2009-12-14 2011-06-16 Academia Sinica Optical profilometry
CN102445167A (zh) * 2010-09-30 2012-05-09 旭硝子株式会社 表面形状的评价方法以及评价装置

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020021808A1 (ja) * 2018-07-26 2020-01-30 コニカミノルタ株式会社 表面検査装置および表面検査方法
CN113639714A (zh) * 2021-08-04 2021-11-12 深圳市亚锐智能科技有限公司 一种基于铝金属片金属片数量检测设备
CN113639714B (zh) * 2021-08-04 2023-09-26 深圳市亚锐智能科技有限公司 一种基于铝金属片金属片数量检测设备
CN114527072A (zh) * 2022-02-05 2022-05-24 上海研视信息科技有限公司 一种基于结构光扫描的钢板缺陷检测系统
CN116106330A (zh) * 2023-04-17 2023-05-12 武汉名杰模塑有限公司 一种汽车保险杠漆面缺陷检测装置及其检测方法
CN116106330B (zh) * 2023-04-17 2023-06-20 武汉名杰模塑有限公司 一种汽车保险杠漆面缺陷检测装置及其检测方法

Also Published As

Publication number Publication date
MA43424A (fr) 2018-10-17
EP3388781A1 (en) 2018-10-17
PL3388781T3 (pl) 2023-10-16
EP3388781A4 (en) 2019-07-24
EP3388781C0 (en) 2023-06-07
ES2630736B1 (es) 2018-07-04
ES2630736A1 (es) 2017-08-23
EP3388781B1 (en) 2023-06-07

Similar Documents

Publication Publication Date Title
ES2630736B1 (es) Sistema y método de detección de defectos en superficies especulares o semi-especulares mediante proyección fotogramétrica
CN107525479B (zh) 识别物体表面点或区域的方法、光学传感器以及存储介质
EP3418681B1 (en) Calibration of a triangulation sensor
ES2910068T3 (es) Aparato móvil y automatizado para la detección y clasificación de daños en la carrocería de un vehículo
KR101773791B1 (ko) 검사대상 물체의 표면 검사 방법 및 장치
US7532333B2 (en) Method and apparatus for determining the shape and the local surface normals of specular surfaces
ES2765493T3 (es) Procedimiento y sistema para inspeccionar superficies
JP2010532870A (ja) 物体の表面の光学的な検査方法および検査装置
US20070057946A1 (en) Method and system for the three-dimensional surface reconstruction of an object
US7360410B2 (en) Procedure and device for testing tires
CN105960569B (zh) 使用二维图像处理来检查三维物体的方法
US20080186514A1 (en) Method For Optical Chassis Measurement
US9530201B2 (en) Method for the non-destructive testing of a blade preform
JP2009532685A (ja) 反射面の形状測定方法及びシステム
CA2518976A1 (en) Coded-light dual-view profile scanner
CN106068450A (zh) 用于检测特别是折射缺陷的方法和装置
CN105783784A (zh) 检查装置及检查装置的控制方法
JP2011512533A (ja) 反射光学画像法によるガラス表面形状及び光学歪の測定方法
CN101086443A (zh) 用于确定宝石形状的设备
US9797833B2 (en) Method for determining the refractive power of a transparent object, and corresponding device
US10151581B2 (en) Method and device for determining the position and orientation of a specular surface forming a diopter
Xu et al. A robot-assisted back-imaging measurement system for transparent glass
US20130162816A1 (en) Device for measuring the shape of a mirror or of a specular surface
WO2017001897A1 (pt) Dispositivo e método para deteção de defeitos em superfícies especulares com luz difusa estruturada
KR102639910B1 (ko) 차량 부품의 갭 및 플러시의 측정 방법 및 측정 터널

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16872466

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2016872466

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2016872466

Country of ref document: EP

Effective date: 20180709