WO2018098551A1 - Método e sistema para a inspeção automática de qualidade de materiais - Google Patents

Método e sistema para a inspeção automática de qualidade de materiais Download PDF

Info

Publication number
WO2018098551A1
WO2018098551A1 PCT/BR2017/050368 BR2017050368W WO2018098551A1 WO 2018098551 A1 WO2018098551 A1 WO 2018098551A1 BR 2017050368 W BR2017050368 W BR 2017050368W WO 2018098551 A1 WO2018098551 A1 WO 2018098551A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
capturing
inspected
defects
light
Prior art date
Application number
PCT/BR2017/050368
Other languages
English (en)
French (fr)
Inventor
Jorge Augusto DE BONFIM GRIPP
Enivaldo AMARAL DE SOUZA
Renan PADOVANI
Carlos YUI SAKURAMOTO
Original Assignee
Autaza Tecnologia Ltda - Epp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Autaza Tecnologia Ltda - Epp filed Critical Autaza Tecnologia Ltda - Epp
Priority to BR112019011092A priority Critical patent/BR112019011092A2/pt
Publication of WO2018098551A1 publication Critical patent/WO2018098551A1/pt
Priority to US16/428,393 priority patent/US11024020B2/en

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/30—Measuring arrangements characterised by the use of optical techniques for measuring roughness or irregularity of surfaces
    • G01B11/303—Measuring arrangements characterised by the use of optical techniques for measuring roughness or irregularity of surfaces using photoelectric detection means
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/30—Measuring arrangements characterised by the use of optical techniques for measuring roughness or irregularity of surfaces
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01L—MEASURING FORCE, STRESS, TORQUE, WORK, MECHANICAL POWER, MECHANICAL EFFICIENCY, OR FLUID PRESSURE
    • G01L1/00—Measuring force or stress, in general
    • G01L1/18—Measuring force or stress, in general using properties of piezo-resistive materials, i.e. materials of which the ohmic resistance varies according to changes in magnitude or direction of force applied to the material
    • G01L1/183—Measuring force or stress, in general using properties of piezo-resistive materials, i.e. materials of which the ohmic resistance varies according to changes in magnitude or direction of force applied to the material by measuring variations of frequency of vibrating piezo-resistive material
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M11/00—Testing of optical apparatus; Testing structures by optical methods not otherwise provided for
    • G01M11/08—Testing mechanical properties
    • G01M11/081—Testing mechanical properties by using a contact-less detection method, i.e. with a camera
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/55—Specular reflectivity
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8806—Specially adapted optical and illumination features
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/958—Inspecting transparent materials or objects, e.g. windscreens
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G06T5/30—Erosion or dilatation, e.g. thinning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/155—Segmentation; Edge detection involving morphological operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/64—Analysis of geometric attributes of convexity or concavity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8806—Specially adapted optical and illumination features
    • G01N2021/8829—Shadow projection or structured background, e.g. for deflectometry
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8806—Specially adapted optical and illumination features
    • G01N2021/8829—Shadow projection or structured background, e.g. for deflectometry
    • G01N2021/8832—Structured background, e.g. for transparent objects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854—Grading and classifying of flaws
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854—Grading and classifying of flaws
    • G01N2021/8861—Determining coordinates of flaws
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30156—Vehicle coating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/12—Acquisition of 3D measurements of objects
    • G06V2201/121—Acquisition of 3D measurements of objects using special illumination

Definitions

  • This patent application relates to a method and system for the automatic inspection of material quality, specifically through the steps of: (i) capturing images of a light pattern reflected by or distorted through the inspected material; (ii) processing of the captured images; and (iii) identification of material defects.
  • the external quality of a product is the first impression that may motivate a customer to buy it or not.
  • a high quality body surface for example, is a competitive advantage in the automotive industry.
  • the surface quality of a glass is critical in assessing its market value.
  • the manufacture of a car body has several stages, such as: stamping, hemming, welding, painting and final assembly.
  • stamping flat steel sheets of just under 1 mm thickness are formed in a press between a lower die (die) and an upper die (punch) when the latter descends on the sheet and exerts the shear force.
  • presses are queued, each performing a draw, cut and fold function, so that at the end of the sequence of operations, a new body part is produced.
  • Hemming is the process of bending and folding the flaps of an outer panel over an inner panel for closing hoods, doors or rear covers.
  • the joining of the stamped parts is usually done by spot welding, forming the body, which goes through some layers of paint and drying ovens.
  • the production of the parts goes through a strict quality control, in order to guarantee the uniformity in the manufacture and the fidelity with the designed model.
  • This quality control aims to ensure not only the perfect coupling between parts to assemble the product in each of the following steps, but also a high quality body finish that meets customer expectations.
  • the surface quality inspection method is done visually by a trained inspector to identify and classify defects.
  • the defects are best observed if the piece reflects light in a specular way, that is, like a mirror.
  • the metal surface must be covered with a thin layer of reflective oil when inspecting parts immediately after stamping, or be painted when inspecting the vehicle body at the end of the work.
  • the light source has a known geometric pattern, for example, parallel lines composed of equally spaced tubular lamps. If the surface shows unwanted undulation, the pattern of light lines reflected in the part is distorted.
  • Defletometry is defined as the set of procedures used to acquire topographic information on specular surfaces by analyzing the reflections of a known light pattern.
  • Defects are classified according to their level of severity and the source of the error, eg tool mark, radius, corner sinking or local undulation. Besides being an intense and repetitive work, this method is subject to the subjectivity of the inspector evaluation.
  • a common system in geometric analysis is a three-dimensional or 3D scanner, such as US6738507B2, which uses a set of monochrome lasers or lights to reconstruct the measured part topology in a computer.
  • This measurement has a mesh of separate points. approximately 60 micrometers and can be compared to the dimensions of the CAD (computer aided design) drawing of the part design.
  • the part is often painted with a white matte powder, so that the equipment laser is diffusedly reflected on the part, unlike the methods and systems described in this document, where light is reflected by or distorted. by the inspected surface.
  • Dimensional control of parts through the 3D scanner focuses on the variation between the measured height on the part and the projected one.
  • the height variation is not the unit most sensitive to the undulation surface defects, but the part curvature variation (which is its second derivative). Even ripples with slight height variations of 30 micrometres can be visually observed by an inspector when he reflects fringes of light on a piece.
  • Another geometric analysis system is the part profile line-by-line scanner as disclosed in US7962303B2. This profilometer measures the profile
  • US4920385A relates to a more complex optical array with moving mirrors that focus a laser beam, which is specularly reflected on the inspected part, reflected a second time on a retroreflective wall (reflecting the light in the same direction as the incident beam, such as 3M Company Scotchlight material), reflected a third time on the same inspected part and returning to a camera positioned near the light source.
  • a retroreflective wall reflecting the light in the same direction as the incident beam, such as 3M Company Scotchlight material
  • the aforementioned patent also introduces the need for polarizing filters to improve the signal-to-noise ratio acquired by the camera.
  • the purpose of the present patent application is to propose an automatic solution for inspection of products, parts of products or packaging, which improves the objectivity, reproducibility, repeatability and speed of current material quality inspection processes.
  • the methods and systems disclosed herein may be applied to the inspection of any material, reflective (ie, reflecting lights) or translucent (which is permeable but distorting lights), such as metallic, polymeric, composite, glass, polymer, acrylic, crystal, among others.
  • the claimed methods and systems provide a solution for the automation of quality inspection of parts such as body surfaces, glass and car interiors. after the various steps of the production process, such as stamping, hemming, welding, painting or final assembly.
  • the methods and systems claimed herein can evaluate, for example, irregularities in the mold that imprinted it on a press, so that this mold (tool) can be corrected.
  • Objective measurement of the severity of surface defects provides an important tool for standardizing inspection, reporting and defect tracking processes. Also, the integration of inspection reports into the factory production process enables quick decision-making on necessary process corrections.
  • Suitable materials for the application of the methods and systems of the present patent application may be reflective or translucent, for example, metallic, polymeric, composite, glass, polymer, acrylic, crystal surfaces, among others, basically by the steps of: capture of images reflected by or distorted through the material inspected; processing of captured images; and identification of material defects using artificial intelligence techniques.
  • a set of lights with a defined geometric pattern focuses on a material to be inspected.
  • the material to be inspected may be reflective, that is, it reflects the reflected, or translucent, or transparent light, and refracts or distorts the incident light.
  • light reflected by or distorted through the material may be captured by an image pickup device, for example, but not limited to a camera.
  • a defect in a material can then be perceived by distortions it causes in the pattern of the image that will be captured by the pickup apparatus.
  • FIGURE 1 presents the system for the automatic inspection of quality reflective materials.
  • FIGURE 2 presents the processing sequence in an apparatus for processing the captured image, identifying and classifying defects of the material inspected.
  • FIGURE 3 shows the complete flow of the material quality inspection method.
  • FIGURE 4 presents a possible embodiment which consists of a system for the automatic inspection of optical distortion quality on translucent, transparent, semi-transparent materials or any material that distorts the light on it.
  • FIGURE 5 illustrates a possible implementation of artificial artificial neural network through single layer perceptrons.
  • FIGURE 6 illustrates a possible implementation of the artificial neural network through multilayer perceptrons.
  • FIGURE 7A and FIGURE 7B illustrate a possible embodiment in which the inspected part 110 is an automotive body 720, the light source 100 is shaped like a curved portal with illumination on its inside, the pickup apparatus 120 is comprised of at least one camera 730 and the software processing apparatus 200 is comprised of a computer 750.
  • the present patent application relates, in a first possible embodiment, to a method for the automatic inspection of the quality of materials comprising the imaging steps reflected by or distorted through an inspected material; processing of captured images; and identification of material defects using artificial intelligence techniques.
  • the method described here may involve the steps of:
  • the present patent application relates to a method for automatic inspection of the surface of automobiles, such as bodies, chassis, windows, mirrors, bumpers, lamps and other auto parts.
  • a method for automatic inspection of the surface of automobiles such as bodies, chassis, windows, mirrors, bumpers, lamps and other auto parts.
  • such a method may involve the steps of:
  • the projected light is emitted by a light source selected from the group comprising, but not limited to one set of tubular fluorescent lamps; or tubular LED lamps; or a screen illuminated by a projector or laser; or an LCD, plasma, OLED or LED screen; or a set of lamps having a sheet of material in front of them alternating translucent regions and black matte regions; or any device capable of creating a light and shadow pattern.
  • a light source selected from the group comprising, but not limited to one set of tubular fluorescent lamps; or tubular LED lamps; or a screen illuminated by a projector or laser; or an LCD, plasma, OLED or LED screen; or a set of lamps having a sheet of material in front of them alternating translucent regions and black matte regions; or any device capable of creating a light and shadow pattern.
  • the image is captured or captured by an image capture apparatus, which may be, for example, a video and / or photographic camera, an infrared camera, or an ultraviolet camera or any array of images.
  • electromagnetic sensors capable of capturing an image.
  • the method for automatic material quality inspection suitable for reflective materials comprises capturing or capturing the image reflected by the material.
  • the image captured is the specular reflection of the material inspected.
  • the method for automatic material quality inspection is suitable for transparent, semi-transparent or translucent materials, ie allowing the incident light to fully or partially pass through, refracting or distorting it. which comprises capturing or capturing the image distorted by the material.
  • the image captured is the optical distortion of light passing through or passing through the inspected material.
  • image processing comprises transforming the image into a binary image, with only two possible pixel values: white and black. This new binary image contains white fringes on a black background.
  • the extracted features may be geometric features of the segment: the distance along the segment and the Euclidean distance between the beginning and the end of the segment.
  • the curvature statistics calculated for each segment point can also be characteristic such as: the sum of the curvatures, the mean, the variance, the standard deviation, the obliquity, the kurtosis or combinations of these statistics.
  • the curvatures of the points can be used considering their sign or in modulus for the calculation of the characteristics.
  • the classification of the defects found can be done, for example, by calculating the white fringe midline, represented by the thin curves. Software calculates the curve regions corresponding to defects in the part and shows them as curve segments. [041]
  • the defects of materials sought in the inspection cause a median size ripple on the fringes obtained after image processing. From the fringe geometry and curvature, features are extracted that feed a defect classification algorithm.
  • defect identification software capable of transforming the captured image into a set of curves, each corresponding to one of these light fringes, and identifying a variation of the pattern of these curves resulting from a possible defect. , is used to fulfill the characterization stage of the defects found.
  • calculated characteristics for each fringe segment serve as input to an artificial neural network, which outputs the classification of material defects.
  • FIGURE 5 illustrates a possible implementation of the artificial neural network.
  • light source 100 is selected from the group comprising, but not limited to a set of tubular fluorescent lamps; or tubular LED lamps; or a screen illuminated by a projector or laser; or an LCD, plasma, OLED or LED screen; or a set of lamps having a sheet of material in front of them alternating translucent regions and black matte regions; or any device capable of creating a light and shadow pattern.
  • imager 120 may be, for example, a video and / or photographic camera, an infrared camera, or ultraviolet camera or any array of electromagnetic sensors capable of capturing an image.
  • an apparatus capable of processing and analyzing data is used to comply with at least the steps of image processing, feature extraction and classification of defects found.
  • Such an apparatus may be, for example, a computer, mobile device, microprocessor or any other apparatus comprising image processing software as well as defect identification and classification software.
  • FIGURE 1 shows a system for automatic quality inspection of materials within the scope of the claims of the present patent application.
  • the system contains a light source 100 that generates a light pattern, for example by creating parallel lines of light 101 on a black background 102.
  • Illumination may be created by: a set of tubular fluorescent lamps; or tubular LED lamps; or a screen illuminated by a projector or laser; or an LCD, plasma, OLED or LED screen; or a set of lamps having a sheet of material in front of them alternating translucent regions and black matte regions; or any device capable of creating a light and shadow pattern.
  • the luminous rays 111 of the lights 101 fall on the inspected part 110 and are reflected in a specular manner. as indicated by the reflected radius 112.
  • the inspected material 110 may be metal, polymer, composite, glass or any other type of reflective material.
  • Material 110 may be flat, curved, regular, wavy, concave, convex, or may comprise a mixture of such shapes.
  • a pickup device 120 captures the reflected rays 112. Waving defects in the inspected part 110 alter the angle of the reflected rays 112, and thus the image captured by an image pickup apparatus 120.
  • Imaging apparatus 120 may be, for example, a video and / or photographic camera, an infrared camera, or an ultraviolet camera or any array of electromagnetic sensors capable of capturing an image.
  • the frequency range of the electromagnetic waves emitted by the light apparatus 100 and captured by the pickup apparatus 120 is preferably in the visible spectrum, however it may be in the infrared or ultraviolet spectrum.
  • the image captured by said image capture apparatus 120 is transmitted to an apparatus 200 capable of processing the captured image, identifying and classifying defects.
  • Apparatus 200 is, for example, a computer, mobile device, microprocessor or any other apparatus capable of processing and analyzing data.
  • the apparatus 200 contains image processing software as well as defect identification and classification software.
  • a light source 100 composed of fluorescent tube or LED lamps
  • all regions of the inspected part 110 are illuminated by the lights 101 at some point due to the movement of the light source 100 made, for example, by a rack 104. coupled to the lamp structure driven by a motor 103.
  • the shape of the light pattern is not limited to parallel lines, just as light source 100 need not necessarily be flat.
  • the movement of rack 104 could move this blade containing stripes 101 and 102 without the need to move the lamps to its side. bottom.
  • the fringes can be moved by varying the position of the inspected part or the camera.
  • translation, rotation or changing of light patterns can be done by changing the projected image in case the light source 100 is an LCD, plasma, OLED or LED screen.
  • FIGURE 2 shows the image processing sequence on apparatus 200 or 430.
  • the captured image has luminous fringes 201 corresponding to the reflection. specular reflection of the lights 101 on the inspected part 110, or light fringes 431 corresponding to the lights that passed through the inspected part 410, as well as shadow regions 202 or 432 where there was no direct incidence of light from the light source 100 or 400.
  • This first fringed 201 or 431 light and dark 202 or 432 image contains pixels with different color depths. It is transformed into a binary image with only two possible pixel values: white and black. This new binary image contains white fringes 203 on a black background 204.
  • the next step is to calculate the midline of the white fringes 203, represented by thin curves 205.
  • the software calculates the regions of the curves 205 corresponding to part defects and shows them. as curve segments 206.
  • Such binary image processing steps correspond to apparatus 430.
  • FIGURE 3 shows the complete flow of the material quality inspection method.
  • Steps 301 and 302 refer to actions illustrated in FIGURE 1 or FIGURE 4, while steps 303 to 312 refer to the embedded software processes in apparatus 200 or 430 and illustrated in FIGURE 2.
  • the method begins with projecting light 301 using light source 100 or 400 that is reflected on the inspected part 110 or passes through the inspected part 410 and by image capture 302 by the capture apparatus 120 or 420.
  • This captured image contains light fringes of light 201 or 431 reflected over a darker area of part 202 or 432 where there was no direct light.
  • the image is made up of an array of pixels, each pixel with different colors and brightness.
  • Defect identification software must be able to transform the captured image into a set of curves, each corresponding to one of these light fringes, and to identify a variation in the pattern of these curves resulting from a possible defect.
  • Image processing begins by binarization of image 305, i.e. the separation of pixels belonging to light fringes 203 from the rest of the image, with darker tone 204. In a second moment, each fringe 203 is finely tuned. which is represented by a single pixel width 205 curve, known as the erosion of the fringes 306.
  • the curves 205 can be found by edge detection between light and dark fringe 204 or by edge detection between light fringes 201 or 431 and dark fringes 202 or 432. Edge detection can be implemented by applying various techniques, such as a gradient filter or Sobel filter. If the edge detection process does not generate a unit thickness curve, erosion of this edge is applied to obtain a one pixel wide curve.
  • each of these curves 205 each representing a fringe
  • the curvature 308 is calculated.
  • a material defect is correlated with an abrupt variation of the fringe curvature.
  • Each fringe is divided into segments.
  • the criteria for dividing the fringe into segments can simply be to split each fringe into segments of the same pixel size.
  • the points with a calculated curvature of zero may be used as dividing points of the fringe. It is also possible to consider overlapping between the segments or to analyze each fringe pixel as one if it were a segment.
  • features 309 are extracted that feed a defect classification algorithm 304.
  • the features here Mentioned may be geometric features of the segment: the distance along the segment and the Euclidean distance between the beginning and the end of the segment.
  • the curvature statistics calculated for each segment point may also be characteristic such as: the sum of the curvatures, the mean, the variance, the standard deviation, the obliquity, the kurtosis or combinations of these statistics.
  • the curvatures of the points can be used considering their sign or in modulus in the calculation of the characteristics. Additionally, bends can be discounted from a tolerance value below which bends would be disregarded in the calculation of defects.
  • segment characteristics in the fringe of the analyzed segment can provide information if the segment analyzed has characteristics with values close to or different from its surroundings. Characteristics extracted from the context region can be, for example, distances or statistics of calculated curvatures, such as sum of curvatures, mean, variance, standard deviation, obliquity, kurtosis or combinations of these statistics. Context characteristics can be weighted by the distance to the segment analyzed. The context can be subdivided into regions, generating different characteristics that will serve as inputs to the classification algorithm 310.
  • the calculated characteristics 309 for each fringe segment serve as input to an artificial neural network 310, which outputs the classification of surface defects 311.
  • a possible implementation of the artificial neural network is through single layer or multilayer perceptrons. , as illustrated in FIGURE 5 and FIGURE 6.
  • Classification 310 may be implemented, for example, by single-layer perceptrons, multilayer perceptrons, decision trees, convolutional neural networks, or combinations of these algorithms. Details about artificial neural networks are presented in the book Neural Networks and Learning Machines (Haykin, 2009). Synaptic weights of the artificial neural network are trained through a set of images with identified defects, ie through supervised training performed in the software calibration phase. After training this network, it is able to classify similar objects with regard to identifying and classifying material defects.
  • FIGURE 5 illustrates a possible implementation of artificial neural network with only one neuron 500 called perceptron, where the characteristics 501 named xi, x2,. . . x n calculated at 309 are multiplied by synaptic weights 502 named wo, wi, ... w n , summed in operation 503 and multiplied by the activation function 504, yielding the result of defect classification 505.
  • FIGURE 6 demonstrates an example of multi-layered artificial neural network 600 601, 602 and 603 interacting to form defect classification 604, where each neuron in these layers is represented by a circle and has an internal structure with weights. similar to structure 500.
  • the number of inputs, outputs, neurons, and layers may change depending on the features extracted in 309, defect classes, and desired complexity.
  • Segments 206 classified as defect 311 are overlaid on the original 201-202 or 431-432 image in the form of a report to the quality inspector.
  • light patterns can be rotated, enlarged in size, or differ in shape.
  • a single imager 120 may not capture the entire inspection area in a single image. Therefore, it is foreseeable that a set of pick-ups 120 will be used, or that the focus of the apparatus will be shifted relative to the inspected part 110.
  • the source of illumination 100, the inspected part 110, and the parts of the apparatus may be moved with each other. pickup apparatus 120.
  • FIGURE 7A and FIGURE 7B show possible embodiments, in the form of an inspection cell, comprising a system where the inspected part 110 is a automotive body 720, the light source 100 has the shape of a curved portal 710 with internal illumination, the pickup apparatus 120 consists of at least one camera 730 and the software processing apparatus 200 consists of a computer 750.
  • the pickups may be fixed or mobile, for example using a robotic arm 740.
  • FIGURE 4 presents another possible embodiment, which consists of a system for the automatic inspection of optical distortion quality in translucent, transparent or semi-transparent materials.
  • the inspected material 410 may be glass, crystal, acrylic or any other transparent material.
  • Material 401 may be flat or curved.
  • the inspection system contains a light source 400 that generates a light pattern, for example by creating parallel lines of light 401 on a black background 402.
  • Illumination may be created by: a set of tubular fluorescent lamps; or tubular LED lamps; or a screen illuminated by a projector or laser; or an LCD, plasma, OLED or LED screen; or a set of lamps having a sheet of material in front of them alternating translucent regions and black matte regions; or any device capable of creating a light and shadow pattern.
  • the light rays of the lights 401 strike the inspected material 410 and are distorted due to the refractive index of the material 401.
  • An image capture apparatus 420 captures the refracted rays through the material 401.
  • the image capture apparatus 420 may be for example, a video and / or photographic camera, an infrared camera, an ultraviolet camera, or any array of electromagnetic sensors capable of capturing an image.
  • the frequency range of the electromagnetic waves emitted by the luminous apparatus 400 and captured by the apparatus 420 it is preferably in the visible spectrum, however it may be comprised in the infrared or ultraviolet spectrum.
  • the image captured by said image capture apparatus 420 is transmitted to an apparatus 430 capable of processing the captured image, identifying and classifying defects.
  • Apparatus 430 is, for example, a computer, mobile device, microprocessor or any other apparatus capable of processing and analyzing data.
  • Variations in the refractive index along material 401 cause ripples in the 431 light and dark stripe 432 patterns captured by the pickup device 420 and passed on to the 430 device.
  • the 430 contains software for image processing as well as classification. optical distortion defects as described in FIGURE 2 and FIGURE 3.
  • 410 being a flat glass
  • a way of automating the measurement of the optical distortion defect level due to the variation of the refractive index along the part is presented, replacing the subjective verification currently made in the manufacturing industry. glass, which is visual inspection by an operator.
  • a preferred implementation of the system of FIGURE 4 follows the dimensions of the Brazilian float glass inspection standard (ABNT NBR NM 294, 2004): the distance between the light source 400 and the inspected part 410 is 4.5 meters; the distance between the inspected part 410 and the pickup device 420 is 4.5 meters; light source 400 features 25mm wide light stripes and 25mm wide dark stripes; and preferably screen 410 consists of a translucent white background traversed by black parallel bands and illuminated from behind with fluorescent lamps.
  • the quality of float glass is classified by the angle from which the distortion of refractory stripes 431 and 432 is above a tolerance. Distortion processing and calculation follows steps 301-312.
  • the main indicative of distortion defect is a set of neighboring points with high curvature in a fringe. In the case of a streak on a glass, this distortion is noticed on several fringes, in the same vertical line along the glass, in the direction that it came out of the blast furnace.
  • the methods and systems described in the present patent application serve for automatic inspection of the surface of automobiles, such as bodies, chassis, windows, mirrors, bumpers, lamps and other auto parts.
  • automobiles such as bodies, chassis, windows, mirrors, bumpers, lamps and other auto parts.
  • examples described in this report are not limiting, allowing a person skilled in the art to alter some aspects or components of the methods and systems described, equivalent to the solutions described herein, without departing from the scope herein claimed.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Pathology (AREA)
  • Immunology (AREA)
  • Biochemistry (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Quality & Reliability (AREA)
  • Data Mining & Analysis (AREA)
  • Geometry (AREA)
  • Optics & Photonics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

Descreve-se aqui métodos e sistemas para a inspeção automática de qualidade de materiais. Um conjunto de luzes com um padrão geométrico incide sobre um material que se quer analisar. Dependendo do material inspecionado, ela pode se comportar como um espelho e a imagem refletida é capturada por uma aparelho captador ou a luz transpassa o material inspecionado e a imagem é capturada por uma aparelho captador. Um defeito no material é percebido pela distorção que ele provoca no padrão da imagem refletida ou transpassada. Por fim, um software identifica e localiza estas distorções e, consequentemente, os defeitos do material. Esta classificação de defeitos é realizada por técnicas de inteligência artificial.

Description

Relatório descritivo da patente de invenção para "MÉTODOS E SISTEMAS PARA A INSPEÇÃO DE QUALIDADE DE MATERIAIS".
Campo técnico
[001] O presente pedido de patente relaciona-se a um método e sistema para a inspeção automática de qualidade de materiais, mais especificamente através das etapas de: (i) captação de imagens de um padrão de luzes refletido pela ou ou distorcida através do material inspecionado ; (ii) processamento das imagens captadas; e (iii) identificação de defeitos do material.
Fundamentos técnicos
[002] A qualidade externa de um produto como, por exemplo, um automóvel é a primeira impressão que pode motivar um cliente a adquiri-lo, ou não. Desta forma, uma superfície de carroceria, por exemplo, com alta qualidade é uma vantagem competitiva na indústria automotiva. Da mesma forma, a qualidade de superfície de um vidro é fundamental na avaliação do seu valor de mercado.
[003] A fabricação da carroceria de um automóvel apresenta diversas etapas, tais como: estampagem, hemming, soldagem, pintura e montagem final. No processo de estampagem, as chapas de aço planas com pouco menos de 1 mm de espessura são conformadas em uma prensa, entre um molde inferior (matriz) e um superior (punção) , quando esta última desce sobre a chapa e exerce a força de diversas toneladas. No processo de estampagem de uma porta ou para-lama, por exemplo, enfileiram-se prensas, cada uma executando uma função de repuxo, corte e dobra, de forma que ao fim da sequência de operações, uma nova peça da carroceria é produzida. Hemming é o processo de flexão e dobra das abas de um painel exterior sobre interior para o fechamento de capôs, portas ou tampas traseiras. A união das peças estampadas é geralmente feita por solda ponto, formando a carroceria, que passa por algumas camadas de pintura e por fornos para a secagem.
[004] A produção das peças passa por um rigoroso controle de qualidade, de forma a garantir a uniformidade na fabricação e a fidelidade com o modelo projetado. Este controle de qualidade tem por objetivo garantir não apenas o acoplamento perfeito entre as peças para montar o produto em cada uma das etapas seguintes, como também um acabamento de alta qualidade da carroceria que satisfaça as expectativas dos clientes.
[005] Nos métodos e sistemas aqui descritos, o foco de avaliação não está nos erros de geometria da peça, mas sim na qualidade da sua superfície, que não deve apresentar ondulações ou marcas indesejadas.
[006] Atualmente, o método de inspeção de qualidade de superfícies é feito de forma visual, por um inspetor treinado para identificar e classificar os defeitos. Os defeitos são melhor observados se a peça refletir a luz de forma especular, ou seja, como um espelho. Para apresentar uma reflexão similar a de um espelho, a superfície metálica precisa estar recoberta por uma fina camada de óleo reflexivo, no caso da inspeção de peças logo após a estampagem, ou estar pintada, no caso da inspeção da carroceria do veículo ao final da linha de montagem. A fonte de luz tem um padrão geométrico conhecido, por exemplo, linhas paralelas compostas por lâmpadas tubulares igualmente espaçadas. Caso a superfície apresente uma ondulação não desejada, o padrão de linhas luminosas refletidas na peça é distorcido. Define-se como defletometria o conjunto de procedimentos utilizados para a aquisição de informações topográficas em superfícies especulares, através da análise das reflexões de um padrão de luz conhecido.
[007] Os defeitos são classificados conforme o seu nível de severidade e a fonte do erro, por exemplo, marca de ferramenta, raio corrido, afundamento de canto ou ondulações locais. Além de ser um trabalho intenso e repetitivo, este método está sujeito à subj etividade da avaliação do inspetor.
[008] Um sistema comum na análise geométrica é o scanner tridimensional ou 3D, como o apresentado na patente US6738507B2, que utiliza um conjunto de lasers ou luzes monocromáticas para reconstruir em computador a topologia da peça medida. Esta medida tem uma malha de pontos separados por aproximadamente 60 micrometros e pode ser comparada com as dimensões do desenho CAD (desenho assistido por computador) do projeto da peça. Nesta técnica de reconstrução 3D, a peça é frequentemente pintada com um pó fosco branco, de modo que o laser do equipamento seja refletido de forma difusa na peça, ao contrário dos métodos e sistemas descritos neste documento, onde a luz é refletida pela ou distorcida pela superfície inspecionada . O controle dimensional das peças através do scanner 3D tem foco na variação entre a altura medida na peça e a projetada. Além de ser um processo que demanda alto poder computacional e, consequentemente, tempo, a variação de altura não é a unidade mais sensível aos defeitos de superfície de ondulação, mas sim a variação de curvatura da peça (que é a sua segunda derivada) . Mesmo ondulações com pequenas variações de altura de 30 micrometros conseguem ser observadas visualmente por um inspetor quando ele reflete franjas de luz sobre uma peça.
[009] Outro sistema de análise geométrica é o scanner do perfil da peça, linha a linha, como o apresentado na patente US7962303B2. Este perfilômetro mede o perfil
(ondulação) da peça ao longo de uma linha de cada vez. Da mesma forma que a técnica anterior, este processo demanda alto poder computacional na construção do perfil tridimensional. Problema similar apresenta o perfilômetro apresentado na patente US5844801A, que tem uma cabeça óptica móvel para scannear a peça linha a linha, apresentando, adicionalmente, uma limitação de velocidade devido ao movimento mecânico deste sensor.
[010] A divulgação apresentada na patente US6639685B1 incide listras claras e escuras sobre uma peça inspecionada com o objetivo de reconstrução da superfície tridimensional da peça através da deformação destas listras pela diferença de altura ao longo da peça. A reflexão das listras sobre a peça é feita de forma difusa. O objeto divulgado na publicação de pedido de patente US20150130927A1 também apresenta uma inspeção de superfície onde são projetadas listras sobre a peça, que são refletidas de forma difusa. Como mencionado anteriormente, a variação da altura percebida pela reflexão difusa de listras sobre a peça não é a unidade mais sensível aos defeitos de ondulação de superfície, mas sim a variação de curvatura da peça, o que limita a precisão das técnicas que utilizam reflexão difusa.
[011] Outra divulgação da patente US4920385A se refere a um conjunto óptico mais complexo, com espelhos móveis que incidem um feixe de laser, que é refletido de forma especular sobre a peça inspecionada, refletido uma segunda vez em uma parede retroreflexiva (que reflete a luz na mesma direção do raio incidente como, por exemplo, o material Scotchlight da empresa 3M) , refletido uma terceira vez sobre a mesma peça inspecionada e retornando para uma câmera posicionada próxima à fonte de iluminação. Além do dispositivo óptico um pouco mais complexo, a patente mencionada apresenta ainda a necessidade de filtros polarizadores para a melhora da relação entre sinal e ruído adquiridos pela câmera.
[012] Dado que um defeito local apresenta pequenas variações de altura, mas súbitas de curvatura da superfície em uma pequena área, a defletometria mostra-se a técnica mais precisa para este tipo de inspeção. O uso de uma fonte de luz com lâmpadas igualmente espaçadas para gerar um conjunto de franjas brancas refletidas sobre a peça já é largamente utilizada para auxiliar a identificação visual de defeitos de superfície realizada pelos inspetores . Entretanto, nenhum dos documentos acima incorporados aqui como referência se referem à automação dos processos de: captação de imagens de um padrão de luzes refletidas sobre, refratadas pela ou que atravessam a superfície inspecionada; leitura; identificação e classificação de defeitos de superfície tal como proposto pelo presente pedido de patente.
Objetivos
[013] O presente pedido de patente tem como um de seus objetivos propor uma solução automática de inspeção de produtos, partes de produtos ou embalagens, que melhora a obj etividade, reprodutibilidade, repetitividade e celeridade dos atuais processos de inspeção de qualidade de materiais. Em um aspecto os métodos e sistemas ora divulgados podem ser aplicados na inspeção de qualquer material, reflexivo (isto é, que reflite luzes) ou translúcido (que é permeável, porém distorce luzes) , como superfícies metálicas, poliméricas, compósitas, vidros, polímeros, acrílicos, cristais, entre outras .
[014] Numa possível concretização do presente pedido de patente, no contexto da indústria automotiva, por exemplo, os métodos e sistemas reivindicados apresentam uma solução para a automação da inspeção de qualidade de peças, como superfícies da carroceria, vidros e partes internas de automóveis após as diversas etapas do processo produtivo, tais como estampagem, hemming, soldagem, pintura ou montagem final .
[015] Além de avaliar distorções no material, os métodos e sistemas aqui reivindicados podem avaliar, por exemplo, irregularidades no molde que a estampou em uma prensa, para que este molde (ferramenta) possa ser corrigido. Uma medição objetiva da severidade dos defeitos de superfície apresenta uma importante ferramenta para a padronização dos processos de inspeção, geração de relatórios e rastreamento de defeitos. Ainda, a integração dos relatórios de inspeção ao processo produtivo da fábrica propicia a rápida tomada de decisão sobre correções necessárias no processo.
Breve descrição das possíveis concretizações
[016] A fim de atingir os objetivos propostos acima, foram desenvolvidos métodos e sistemas para a inspeção automática de qualidade de materiais.
[017] Materiais apropriados para a aplicação dos métodos e sistemas do presente pedido de patente podem ser reflexivos ou translúcidos, por exemplo, superfícies metálicas, poliméricas, compósitas, vidros, polímeros, acrílicos, cristais, entre outras, basicamente através das etapas de: captação de imagens refletidas pelo ou distorcidas através do material inspecionado ; processamento das imagens captadas; e identificação de defeitos do material utilizando técnicas de inteligência artificial.
[018] De acordo com uma possível concretização, um conjunto de luzes com um padrão geométrico definido incide sobre um material que se quer inspecionar. O material a ser inspecionado pode ser reflexivo, isto é reflete a luz incidida, ou traslúcido, ou transparente, e refratar ou distorcer a luz incidida. Em ambos os casos, a luz refletida pela ou distorcida através do material pode ser capturada por um aparelho captador de imagem, por exemplo, mas não limitado a uma câmera.
[019] De acordo com uma possível concretização preferencial, um defeito em um material pode, então, ser percebido por distorções que ele provoca no padrão da imagem que será capturada pelo aparelho captador.
[020] A fim de avaliar automaticamente tais distorções, um software pode identificar e localizar as mesmas, classificando os defeitos do material de forma totalmente autónoma, através de uma processo de inteligência artificial .
[021] Os métodos e o sistemas ora descritos podem ser aplicados na inspeção de materiais total ou parcialmente reflexivos, transparentes ou translúcidos.
[022] Em outras palavras, tais métodos e sistemas são úteis para a inspeção de quaisquer materiais que reflitam, refratem ou dirtoçam luzes, como, por exemplo, superfícies metálicas, poliméricas, compósitas, vidros, polímeros, acrílicos, cristais, entre outras, incluindo recipientes ou embalagens contendo líquidos, géis e outros .
Descrição das figuras
[023] Os métodos e sistemas do pedido de patente serão melhor compreendidos com base na descrição a seguir, tomada em conjunto com as figuras anexas, nas quais:
[024] A FIGURA 1 apresenta o sistema para a inspeção automática de qualidade materiais reflexivos.
[025] A FIGURA 2 apresenta a sequência de processamento em uma aparelho para processar a imagem captada, identificar e classificar os defeitos do material inspecionado .
[026] A FIGURA 3 apresenta o fluxo completo do método de inspeção de qualidade de materiais.
[027] A FIGURA 4 apresenta uma possível concretização que consiste em um sistema para a inspeção automática de qualidade de distorção óptica em materiais translúcidos, transparentes, semitransparentes , ou qualquer material que distorça a luz sobre ele incidida.
[028] A FIGURA 5 ilustra uma possível implementação da rede neural artificial artificial através de perceptrons em camada única.
[029] A FIGURA 6 ilustra uma possível implementação da rede neural artificial através de perceptrons em camadas múltiplas .
[030] A FIGURA 7A e a FIGURA 7B ilustram uma possível concretização em que a peça inspecionada 110 é uma carroceria automotiva 720, a fonte de iluminação 100 tem o formato de um portal curvo com iluminação na sua parte interna, o aparelho captador 120 é constituído de pelo menos uma câmera 730 e o aparelho para processamento de software 200 é constituído de um computador 750.
Descrição detalhada
[031] O presente pedido de patente se refere, em uma primeira possível concretização, a um método para a inspeção automática da qualidade de materiais compreendendo as etapas de captação de imagens refletidas pelo ou distorcidas através de um material inspecionado ; processamento das imagens captadas; e identificação de defeitos do material utilizando técnicas de inteligência artificial. [032] Por exemplo o método ora descrito pode envolver as etapas de:
- projeção de um padrão de luz sobre o material a ser inspecionado 301;
- captação ou captura da imagem refletida pela ou distorcida através do referido material 302;
- processamento da imagem 303;
- extração das características 309; e
- classificação dos defeitos encontrados 304.
[033] Em uma outra possível concretização, o presente pedido de patente se refere a um método para a inspeção automática da superfífie de automóveis, como de carrocerias, chassis, vidros, retrovisores, parachoques, lâmpadas e outras peças de automóveis. Por exemplo tal método pode envolver as etapas de:
- projeção de um padrão de luz sobre o material a ser inspecionado;
- captação ou captura da imagem refletida pela ou distorcida através do referido material;
- processamento da imagem;
- extração das características; e
- classificação dos defeitos encontrados.
[034] Em qualquer um dos métodos acima descritos, preferencialmente, a luz projetada é emitida por uma fonte luminosa selecionada do grupo compreendendo, porém não limitado a um conjunto de lâmpadas fluorescentes tubulares; ou lâmpadas LED tubulares; ou uma tela iluminada por um projetor ou laser; ou uma tela LCD, plasma, OLED ou LED; ou um conjunto de lâmpadas que têm à sua frente uma lâmina de material que alterna regiões translúcidas e regiões foscas negras; ou qualquer dispositivo capaz de criar um padrão de luz e sombra.
[035] Em uma concretização preferencial, a captação ou captura da imagem é feita por um aparelho captador de imagem, que pode ser, por exemplo, uma câmera de vídeo e/ou fotográfica, uma câmera infravermelha, ou câmera ultravioleta ou qualquer matriz de sensores eletromagnéticos capaz de captar uma imagem.
[036] Em uma concretização específica da presente inveção, o método para a inspeção automática de qualidade de materiais adequado para materiais reflexivos compreende a captação ou captura da imagem refletida pelo material. Nessa concretização específica, porém não limitativa, a imagem captada é o reflexo especular do material inspecionado .
[037] Em outra concretização específica, o método para a inspeção automática de qualidade de materiais é adequado para materiais transparentes, semitransparentes ou translúcidos, ou seja, que permitam que a luz incidente transpasse total ou parcialmente, refratem ou distorçam-a, de modo que compreende a captação ou captura da imagem distorcida pelo material. Nessa concretização especifica, porém não limitativa, a imagem captada é a distorção óptica da luz que atravessa ou transpassa o material inspecionado .
[038] Em uma possível concretização, o processamente da imagem compreende a transformação da imagem em uma imagem binária, com apenas dois valores possíveis de pixels: branco e preto. Esta nova imagem binária contém franjas brancas sobre um fundo preto.
[039] De acordo com uma possível concretização, as características extraídas podem ser caraterí sticas geométricas do segmento: a distância ao longo do segmento e a distância euclidiana entre o início e o fim do segmento. Podem também ser características as estatísticas das curvaturas calculadas para cada ponto do segmento tais como: a soma das curvaturas, a média, a variância, o desvio padrão, a obliquidade, a curtose ou combinações destas estatísticas. As curvaturas dos pontos podem ser utilizadas considerando o seu sinal ou em módulo para o cálculo das características .
[040] Em uma possível concretização, ilustrada na Figura
2, porém não limitativa, a classificação dos defeitos encontrados pode ser feita, por exemplo, pelo cálculo da linha média das franjas brancas, representadas pelas curvas finas. Um software calcula as regiões das curvas correspondentes a defeitos na peça e as mostra como segmentos de curvas . [041] Os defeitos de materiais procurados na inspeção ocasionam uma ondulação de tamanho mediano nas franjas obtidas após o processamento da imagem. A partir da geometria e das curvaturas das franjas são extraídas características que alimentam um algoritmo de classificação de defeitos.
[042] Em uma possível concretização preferencial, um software de identificação de defeitos capaz de transformar a imagem capturada em um conjunto de curvas, cada uma correspondente a uma destas franjas de luz, e identificar uma variação do padrão destas curvas decorrente de um possível defeito, é utilizado para cumprir a etapa de caracterização dos defeitos encontrados .
[043] Em uma possível concretização específica, porém não limitativa, caraterísticas calculadas para cada segmento de franja servem de entrada para uma rede neural artificial, que tem como saída a classificação dos defeitos de materiais. A FIGURA 5 ilustra uma possível implementação da rede neural artificial .
[044] Em outra possível concretização, há um sistema para a inspeção automática de qualidade de materiais, o qual compreende os seguintes componentes:
fonte luminosa 100;
aparelho captador de imagem 120; e
aparelho para processar a imagem captada, identificar e classificar defeitos 200. [045] Em outra possível concretização, há um sistema para a inspeção automática da superfície de automóveis, como de carrocerias, chassis, vidros, retrovisores, parachoques, lâmpadas e outras peças de automóveis o qual compreende os seguintes componentes:
fonte luminosa 100;
aparelho captador de imagem 120; e
aparelho para processar a imagem captada, identificar e classificar defeitos 200.
[046] Os sistemas descritos acima se aplicam a inspeção automática de qualidade de materiais total ou parcialmente reflexivos, transparentes, semitransparentes ou translúcidos .
[047] Preferencialmente, a fonte luminosa 100 é selecionada do grupo compreendendo, porém não limitado a um conjunto de lâmpadas fluorescentes tubulares; ou lâmpadas LED tubulares; ou uma tela iluminada por um projetor ou laser; ou uma tela LCD, plasma, OLED ou LED; ou um conjunto de lâmpadas que têm à sua frente uma lâmina de material que alterna regiões translúcidas e regiões foscas negras; ou qualquer dispositivo capaz de criar um padrão de luz e sombra .
[048] Em uma possível concretização preferencial, aparelho captador de imagem 120 pode ser, por exemplo, uma câmera de vídeo e/ou fotográfica, uma câmera infravermelha, ou câmera ultravioleta ou qualquer matriz de sensores eletromagnéticos capaz de captar uma imagem.
[049] De acordo com o presente pedido de patente, um aparelho com capacidade de processamento e análise de dados é usado para cumprir, pelo menos, as etapas de processamento da imagem, extração das características e classificação dos defeitos encontrados. Tal aparelho pode ser, por exemplo, um computador, dispositivo móvel, microprocessador ou qualquer outro aparelho que compreenda um software para o processamento de imagens, assim como um software para a identificação e a classificação de defeitos.
[050] A FIGURA 1 apresenta um sistema para a inspeção automática de qualidade de materiais dentro do escopo das reivindicações do presente pedido de patente . O sistema contém uma fonte luminosa 100 que gera um padrão de luz, por exemplo, criando linhas paralelas de luz 101 sobre um fundo negro 102. A iluminação pode ser criada por: um conjunto de lâmpadas fluorescentes tubulares; ou lâmpadas LED tubulares; ou uma tela iluminada por um projetor ou laser; ou uma tela LCD, plasma, OLED ou LED; ou um conjunto de lâmpadas que têm à sua frente uma lâmina de material que alterna regiões translúcidas e regiões foscas negras; ou qualquer dispositivo capaz de criar um padrão de luz e sombra.
[051] Os raios luminosos 111 das luzes 101 incidem sobre a peça inspecionada 110 e são refletidos de forma especular, como indicado pelo raio refletido 112. O material inspecionado 110 pode ser metal, polímero, compósito, vidro ou qualquer outro tipo de material reflexivo.
[052] O material 110 pode ser plano, curvo, regular, ondulado, côncavo, convexo, ou pode compreender uma mistura de tais formatos. Um aparelho captador 120 capta os raios refletidos 112. Defeitos de ondulação na peça inspecionada 110 alteram a angulação dos raios refletidos 112, e, portanto, a imagem captada por um aparelho captador de imagem 120.
[053] O aparelho captador de imagem 120 pode ser, por exemplo, uma câmera de vídeo e/ou fotográfica, uma câmera infravermelha, ou câmera ultravioleta ou qualquer matriz de sensores eletromagnéticos capaz de captar uma imagem. A faixa de frequência das ondas eletromagnéticas emitidas pelo aparelho luminoso 100 e captadas pelo aparelho captador 120 está preferencialmente no espectro visível, contudo, pode estar compreendida no espectro infravermelho ou ultravioleta. A imagem captada pelo dito aparelho captador de imagem 120 é transmitida a um aparelho 200, capaz de processar a imagem captada, identificar e classificar os defeitos .
[054] O aparelho 200 é, por exemplo, um computador, dispositivo móvel, microprocessador ou qualquer outro aparelho com capacidade de processamento e análise de dados. O aparelho 200 contém um software para o processamento da imagem, assim como um software para a identificação e a classificação de defeitos.
[055] No caso de uma fonte luminosa 100 composta de lâmpadas tubulares fluorescentes ou LED, todas as regiões da peça inspecionada 110 são iluminadas pelas luzes 101 em algum instante devido ao movimento da fonte de luz 100 feito, por exemplo, por uma cremalheira 104 acoplada à estrutura das lâmpadas acionada por um motor 103. O formato do padrão de luz não se limita a linhas paralelas, da mesma forma que a fonte de luz 100 não precisa ser necessariamente plana. No caso de uma caixa com luzes que que tem à sua frente uma lâmina de material que alterna regiões translúcidas e regiões foscas negras, o movimento da cremalheira 104 poderia movimentar esta lâmina contendo as listras 101 e 102 sem a necessidade de movimentação das lâmpadas ao seu fundo. Opcionalmente, as franjas podem ser transladadas pela variação de posição da peça inspecionada ou da câmera. Adicionalmente, a translação, rotação ou mudança dos padrões de luz pode ser feita através da troca da imagem projetada no caso em que a fonte luminosa 100 é uma tela LCD, plasma, OLED ou LED.
[056] A FIGURA 2 apresenta a sequência de processamento da imagem no aparelho 200 ou 430. A imagem capturada apresenta franjas luminosas 201 correspondentes à reflexão especular das luzes 101 sobre a peça inspecionada 110, ou, franjas luminosas 431 correspondentes as luzes que transpassaram a peça inspecionada 410, assim como regiões de sombra 202 ou 432 onde não houveram a incidência direta de luz proveniente da fonte luminosa 100 ou 400.
[057] Esta primeira imagem com franjas claras 201 ou 431 e escuras 202 ou 432 contém pixels com diferentes intensidades de cor. Ela é transformada em uma imagem binária, com apenas dois valores possíveis de pixels: branco e preto. Esta nova imagem binária contém franjas brancas 203 sobre um fundo preto 204. O próxima etapa é o cálculo da linha média das franjas brancas 203, representadas pelas curvas finas 205. O software calcula as regiões das curvas 205 correspondentes a defeitos na peça e as mostra como segmentos de curvas 206. Tais etapas de processamento da imagem binária se correspondem no aparelho 430.
[058] A FIGURA 3 apresenta o fluxo completo do método de inspeção de qualidade de materiais. Os etapas 301 e 302 referem-se a ações ilustradas na FIGURA 1 ou na FIGURA 4, enquanto os etapas 303 a 312 referem-se aos processos de software embarcado no aparelho 200 ou 430 e ilustrados na FIGURA 2. O método inicia-se pela projeção de luz 301 utilizando a fonte de luz 100 ou 400 que é refletida sobre a peça inspecionada 110 ou transpassa a peça inspecionada 410 e pela captura da imagem 302 pelo aparelho de captura 120 ou 420. Esta imagem capturada contém franjas claras de luz 201 ou 431 refletidas sobre uma área mais escura da peça 202 ou 432 onde não houve a incidência direta de luz. A imagem é composta por uma matriz de pixels, cada pixel com diferentes cores e brilho.
[059] O software de identificação de defeitos deve ser capaz de transformar a imagem capturada em um conjunto de curvas, cada uma correspondente a uma destas franjas de luz, e identificar uma variação do padrão destas curvas decorrente de um possível defeito. O processamento de imagem inicia-se pela binarização da imagem 305, ou seja, a separação dos pixels que pertencem às franjas claras 203 do restante da imagem, com tom mais escuro 204. Em um segundo momento, cada franja 203 é afinada, de forma que seja representada por uma curva com apenas um pixel de largura 205, processo conhecido como erosão das franjas 306. Alternativamente, as curvas 205 podem ser encontradas pela detecção de borda entre as franjas claras 203 e escuras 204 ou ainda, pela detecção de borda entre as franjas claras 201 ou 431 e escuras 202 ou 432. A detecção de borda pode ser implementada pela aplicação de diversas técnicas, como, por exemplo, um filtro gradiente ou filtro de Sobel . Caso o processo de detecção de borda não gere uma curva com espessura unitária, é aplicada a erosão desta borda para se obter uma curva com um pixel de largura.
[060] Os defeitos de materiais procurados na inspeção ocasionam uma ondulação de tamanho mediano nas franjas. Deste modo, ondulações de pequeno comprimento (alta frequência) decorrentes de ruído, rugosidade da peça ou quantização da imagem (a imagem digitalizada tem as coordenadas dos seus pontos truncadas em valores inteiros de pixels) são retirados através de filtros de ruído espaciais 307 como, por exemplo, filtros gaussianos espaciais, filtros de média, filtros passa-baixa ou outros filtros que atendam à mesma função. Acrescentam-se aos filtros espaciais 307, filtros passa- alta, que excluem as ondulações de baixa frequência (alto comprimento) decorrentes da geometria da peça.
[061] Ao longo de cada uma destas curvas 205, cada uma representando uma franja, é feito o cálculo da curvatura 308. Um defeito de material é correlacionado com uma variação abrupta da curvatura da franja. Cada franja é dividida em segmentos. O critério de divisão da franja em segmentos pode ser simplesmente dividir cada franja em segmentos de mesmo tamanho de pixels. Alternativamente, pode ser usado como pontos de divisão da franja os pontos cuja curvatura calculada é nula. É possível, também, considerar sobreposição entre os segmentos ou, ainda, análisar cada pixel da franja como um se fosse um segmento.
[062] A partir da geometria e das curvaturas 308 são extraídas características 309 que alimentam um algoritmo de classificação de defeitos 304. As características aqui mencionadas podem ser carateristicas geométricas do segmento: a distância ao longo do segmento e a distância euclidiana entre o inicio e o fim do segmento. Podem também ser características as estatísticas das curvaturas calculadas para cada ponto do segmento tais como: a soma das curvaturas, a média, a variância, o desvio padrão, a obliquidade, o curtose ou combinações destas estatísticas. As curvaturas dos pontos podem ser utilizadas considerando o seu sinal ou em módulo no cálculo das características . Adicionalmente, pode ser descontado das curvaturas um valor de tolerância, abaixo do qual as curvaturas seriam desconsideradas no cálculo dos defeitos. Caso a distância e ângulo entre a iluminação 100 ou 400, peça 110 ou 410 e câmera 120 ou 420, respectivamente, não sejam fixos, estes parâmetros também podem ser adicionados como entradas do algoritmo de classificação de defeitos 304. Podem-se ainda considerar as características dos segmentos na franja do segmento analisado, bem como nas suas franjas vizinhas, estabelecendo uma região de contexto. Este contexto pode fornecer informações se o segmento analisado está com características com valores próximos de seu entorno ou se destoa dos mesmos. As características extraídas da região de contexto podem ser, por exemplo, distâncias ou estatísticas das curvaturas calculadas, tais como a soma das curvaturas, a média, a variância, o desvio padrão, a obliquidade, o curtose ou combinações destas estatísticas. As características do contexto podem ser ponderadas pela distância ao segmento analisado. O contexto pode ser subdividido em regiões, gerando diferentes características que servirão como entradas do algoritmo de classificação 310.
[063] As caraterísticas calculadas 309 para cada segmento de franja servem de entrada para uma rede neural artificial 310, que tem como saída a classificação dos defeitos superficiais 311. Uma possível implementação da rede neural artificial é através de perceptrons com uma camada ou camadas múltiplas, como ilustrado na FIGURA 5 e na FIGURA 6. A classificação 310 pode ser implementada, por exemplo, por perceptrons de camada única, perceptrons multicamadas, árvores de decisão, redes neurais convolucionais , ou combinações destes algoritmos. Detalhes sobre redes neurais artificiais são apresentados no livro Neural Networks and Learning Machines (Haykin, 2009) . Os pesos sinápticos da rede neural artificial são treinados através de um conjunto de imagens com defeitos identificados, ou seja, através de um treinamento supervisionado realizado na fase de calibração do software. Após o treinamento desta rede, ela é capaz de classificar objetos semelhantes no que diz respeito à identificação e classificação de defeitos de materiais. A FIGURA 5 ilustra uma possível implementação da rede neural artificial com somente um neurônio 500 denominado perceptron, onde as características 501 nomeadas xi, X2, . . . xn calculadas em 309 são multiplicadas por pesos sinápticos 502 denominados wo, wi, ... wn, somados na operação 503 e multiplicados pela função de ativação 504, gerando o resultado da classificação de defeitos 505.
[064] A FIGURA 6 demonstra um exemplo de rede neural artificial 600 com múltiplas camadas 601, 602 e 603 que interagem para a formação da classificação do defeito 604, onde cada neurônio nestas camadas é representado por um círculo e têm uma estrutura interna com pesos sinápticos semelhante à estrutura 500. O número de entradas, saídas, neurónios e camadas podem ser alterados dependendo das caraterísticas extraídas em 309, classes de defeitos e complexidade desejada.
[065] Os segmentos 206 classificados como defeito 311 são sobrepostos sobre a imagem original 201-202 ou 431-432 na forma de um relatório para o inspetor de qualidade.
[066] Adicionalmente, é possível a captura de várias imagens, cada uma com o conjunto de franjas levemente translado em relação à anterior, de forma que todos os pontos da peça, ou material, sejam iluminados em algum instante. O processamento destas imagens seguindo os etapas 301-312 fornece um conjunto de segmentos de defeitos encontrados para cada imagem, que podem ser fundidos em uma única imagem, de forma a gerar um relatório com as áreas de defeito identificados .
[067] Para garantir que qualquer região defeituosa na peça seja devidamente iluminada e que o padrão de luz evidencie os defeitos, além da translação dos padrões de luz, os padrões de luz podem ser rotacionados entre si, ampliados em tamanho, ou diferir em formato. Adicionamelmente, um único aparelho captador de imagem 120 pode não captar toda a área de inspeção em uma única imagem. Portanto, é previsível que sejam utilizados um conjunto de aparelhos captadores 120, ou que o foco de visão do aparelho seja deslocado em relação à peça inspecionada 110. São passíveis de movimentação entre si, a fonte de iluminação 100, a peça inspecionada 110 e os aparelhos captadores 120.
[068] A propósito, a FIGURA 7A e a FIGURA 7B apresentam possíveis concretizações, na forma de uma célula de inspeção, que compreendem um sistema onde a peça inspecionada 110 é uma carroceria automotiva 720, a fonte de iluminação 100 tem o formato de um portal curvo 710 com iluminação na sua parte interna, o aparelho captador 120 é constituído de pelo menos uma câmera 730 e o aparelho para processamento de software 200 é constituído de um computador 750. Os aparelhos captadores podem ser fixas ou móveis, por exemplo, utilizando um braço robótico 740.
[069] A FIGURA 4 apresenta uma outra possível concretização, que consiste em um sistema para a inspeção automática de qualidade de distorção óptica em materiais translúcidos, transparentes ou semitransparentes . 0 material inspecionado 410 pode ser vidro, cristal, acrílico ou qualquer outro tipo de material que apresente transparência. O material 401 pode ser plano ou curvo. O sistema de inspeção contém uma fonte luminosa 400 que gera um padrão de luz, por exemplo, criando linhas paralelas de luz 401 sobre um fundo negro 402. A iluminação pode ser criada por: um conjunto de lâmpadas fluorescentes tubulares; ou lâmpadas LED tubulares; ou uma tela iluminada por um projetor ou laser; ou uma tela LCD, plasma, OLED ou LED; ou um conjunto de lâmpadas que têm à sua frente uma lâmina de material que alterna regiões translúcidas e regiões foscas negras; ou qualquer dispositivo capaz de criar um padrão de luz e sombra.
[070] Os raios luminosos das luzes 401 incidem através do material inspecionado 410 e são distorcidos devido ao índice de refração do material 401. Um aparelho captador de imagem 420 capta os raios refratados através do material 401. O aparelho captador de imagem 420 pode ser, por exemplo, uma câmera de vídeo e/ou fotográfica, uma câmera infravermelha, uma câmera ultravioleta ou qualquer matriz de sensores eletromagnéticos capaz de captar uma imagem. A faixa de frequência das ondas eletromagnéticas emitidas pelo aparelho luminoso 400 e captadas pelo aparelho captador 420 está preferencialmente no espectro visível, contudo, pode estar compreendida no espectro infravermelho ou ultravioleta. A imagem captada pelo dito aparelho captador de imagem 420 é transmitida a um aparelho 430 capaz de processar a imagem captada, identificar e classificar os defeitos. O aparelho 430 é, por exemplo, um computador, dispositivo móvel, microprocessador ou qualquer outro aparelho com capacidade de processamento e análise de dados .
[071] Variações no índice refração ao longo do material 401 provocam ondulações nos padrões de listras claras 431 e escuras 432 captados pelo aparelho captador 420 e repassados ao aparelho 430. O aparelho 430 contém um software para o processamento da imagem, assim como a classificação de defeitos de distorção óptica, conforme descrito na FIGURA 2 e FIGURA 3.
[072] No caso de 410 ser um vidro plano, é apresentada uma forma de automatização da medição do nível de defeito de distorção óptica devido à variação do índice de refração ao longo da peça, substituindo a verificação subjetiva feita atualmente na indústria de produção de vidros, que é a inspeção visual por um operador. Ainda, no caso de 410 ser um vidro plano, uma implementação preferencial do sistema da FIGURA 4 segue as dimensões da norma brasileira de inspeção de vidros float (ABNT NBR NM 294, 2004) : a distancia entre a fonte luminosa 400 e a peça inspecionada 410 é 4,5 metros; a distância entre a peça inspecionada 410 e o aparelho captador 420 é de 4,5 metros; a fonte luminosa 400 apresenta listras claras com largura de 25 mm e escuras com largura de 25 mm; e, preferencialmente, a tela 410 consiste de um fundo branco translúcido atravessado por faixas paralelas negras e iluminado por trás com lâmpadas fluorescentes. Considerando-se que a peça pode ter uma rotação de um ângulo OÍ no plano XZ, espera-se que a medição do nível de defeito de distorção óptica devido à variação do índice de refração ao longo da peça seja mínimo no ângulo nulo e aumente conforme a rotação se aproxime de 90 graus (ou n/2 radianos) . Classifica-se a qualidade do vidro float pelo ângulo a partir do qual a distorção das listras refratas 431 e 432 estão acima de uma tolerância. O processamento e cálculo da distorção segue os etapas 301-312. O principal indicativo de defeito de distorção é um conjunto de pontos vizinhos com alta curvatura em uma franja. No caso de uma estria em um vidro, esta distorção é percebida em diversas franjas, em uma mesma linha vertical ao longo do vidro, na direção de que ele saiu do alto-forno.
[073] Em uma concretização os métodos e sistemas descritos no presente pedido de patente servem para a inspeção automática da superfífie de automóveis, como de carrocerias, chassis, vidros, retrovisores, parachoques, lâmpadas e outras peças de automóveis. Contudo, os exemplos descritos neste relatório não são limitativos, permitindo que um técnico no assunto altere alguns aspectos ou componentes dos métodos e sistemas descritos, equivalentes às soluções aqui descritas, sem se distanciar do escopo ora reivindicado .

Claims

RE IVINDICAÇÕES
1. Método para a inspeção automática de materiais caracterizado por compreender as etapas de captação de imagens refletidas pelo ou distorcidas através de um material inspecionado; processamento das imagens captadas; e identificação de defeitos do material utilizando técnicas de inteligência artificial.
2. Método, de acordo com a reivindicação 1, caracterizado por compreender as etapas de
- projeção de um padrão de luz sobre o material a ser inspecionado (301);
- captação ou captura de uma imagem (302);
- processamento da imagem (303); e
- extração das características da imagem (309); e classificação dos defeitos encontrados nas imagens extraídas (304) .
3. Método, de acordo com a reivindicação 2, caracterizado pelo de compreender a captação ou captura de uma imagem (302), que é refletida pelo material a ser inspecionado (301) .
4. Método, de acordo com a reivindicação 2, caracterizado pelo de compreender a captação ou captura de uma imagem (302) que é distorcida através do material a ser inspecionado (301) .
5. Método, de acordo com qualquer uma das reivindicações 2 a 4, caracterizado pelo fato de compreender a geração de relatório e rastreamento dos defeitos encontrados.
6. Sistema para a inspeção automática de qualidade de materiais caracteri ado pelo fato de compreender:
- uma ou mais fontes luminosas;
pelo menos um aparelho captador de imagem; e
- pelo menos um aparelho para processar a imagem captada .
7. Sistema, de acordo com a reivindicação 6, caracterizado pelo fato de que o aparelho para processar a imagem captada também identifica e classifica os defeitos do material inspecionado .
8. Sistema, de acordo com a reivindicação 6, caracterizado pelo fato de que o aparelho captador de imagem (120, 420) pode ser, por exemplo, uma câmera de vídeo e/ou fotográfica, uma câmera infravermelha, ou câmera ultravioleta ou qualquer matriz de sensores eletromagnéticos capaz de captar uma imagem.
9. Sistema, de acordo com a reivindicação 6, caracterizado pelo fato de que o aparelho (200, 430) é, por exemplo, um computador, dispositivo móvel, microprocessador ou qualquer outro aparelho com capacidade de processamento e análise de dados.
10. Sistema, de acordo com a reivindicação 6, caracterizado pelo fato de que a fonte luminosa (100, 400) selecionada do grupo compreendendo, porém não limitado a um conjunto de lâmpadas fluorescentes tubulares; ou lâmpadas LED tubulares; ou uma tela iluminada por um projetor ou laser; ou uma tela LCD, plasma, OLED ou LED; ou um conjunto de lâmpadas que têm à sua frente uma lâmina de material que alterna regiões translúcidas e regiões foscas negras, ou qualquer dispositivo capaz de criar um padrão de luz e sombra .
11. Sistema, de acordo com a reivindicação 6, caracterizado pelo fato de que a fonte de luz 100 é movimentada, por exemplo, por uma cremalheira 104 acoplada à estrutura das lâmpadas acionada por um motor 103.
12. Método para a inspeção automática da superfície de automóveis compreendendo as etapas de:
- projeção de um padrão de luz sobre o material a ser inspecionado;
captação ou captura da imagem refletida pela ou distorcida através do referido material;
- processamento da imagem;
- extração das características; e
- classificação dos defeitos encontrados.
13. Sistema para a inspeção automática da superfície de automóveis, como de carrocerias, chassis, parabrisas, vidros, retrovisores, parachoques, lâmpadas, e outras peças de automóveis o qual compreende os seguintes componentes: fonte luminosa 100;
aparelho captador de imagem 120; e
aparelho para processar a imagem captada, identificar e classificar defeitos 200.
PCT/BR2017/050368 2016-12-01 2017-11-30 Método e sistema para a inspeção automática de qualidade de materiais WO2018098551A1 (pt)

Priority Applications (2)

Application Number Priority Date Filing Date Title
BR112019011092A BR112019011092A2 (pt) 2016-12-01 2017-11-30 método e sistema para a inspeção automática de qualidade de materiais
US16/428,393 US11024020B2 (en) 2016-12-01 2019-05-31 Method and system for automatic quality inspection of materials and virtual material surfaces

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
BR102016028266-7 2016-12-01
BR102016028266-7A BR102016028266A2 (pt) 2016-12-01 2016-12-01 Método e sistema para a inspeção automática de qualidade de materiais

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/428,393 Continuation-In-Part US11024020B2 (en) 2016-12-01 2019-05-31 Method and system for automatic quality inspection of materials and virtual material surfaces

Publications (1)

Publication Number Publication Date
WO2018098551A1 true WO2018098551A1 (pt) 2018-06-07

Family

ID=62241020

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/BR2017/050368 WO2018098551A1 (pt) 2016-12-01 2017-11-30 Método e sistema para a inspeção automática de qualidade de materiais

Country Status (3)

Country Link
US (1) US11024020B2 (pt)
BR (3) BR102016028266A2 (pt)
WO (1) WO2018098551A1 (pt)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110702035A (zh) * 2019-10-25 2020-01-17 四川大学青岛研究院 一种基于面结构光的家电喷涂质量检测系统及方法
WO2020070673A1 (en) * 2018-10-01 2020-04-09 Guardian Glass, LLC Method and system for detecting inclusions in float glass based on spectral reflectance analysis
EP3715779A1 (de) * 2019-03-29 2020-09-30 FRAUNHOFER-GESELLSCHAFT zur Förderung der angewandten Forschung e.V. Verfahren und vorrichtung zur bestimmung von verformungen an einem objekt
EP3748538A1 (en) * 2019-06-04 2020-12-09 Alexis Gruet Identification of structural imperfections on a reflective surface
US11055531B1 (en) * 2018-08-24 2021-07-06 United Services Automobiie Association (USAA) Augmented reality method for repairing damage or replacing physical objects
CN114309513A (zh) * 2020-09-27 2022-04-12 上海梅山钢铁股份有限公司 一种连铸板坯模拟切割方法
WO2022115928A1 (pt) * 2020-12-04 2022-06-09 Autaza Tecnologia Ltda - Epp Métodos e sistemas para a inspeção de qualidade de materiais e de superfícies tridimensionais em ambiente virtual

Families Citing this family (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
BR102016028266A2 (pt) * 2016-12-01 2018-06-19 Autaza Tecnologia Ltda - Epp Método e sistema para a inspeção automática de qualidade de materiais
US10580615B2 (en) * 2018-03-06 2020-03-03 Globalfoundries Inc. System and method for performing failure analysis using virtual three-dimensional imaging
JP7079123B2 (ja) * 2018-03-15 2022-06-01 キヤノン株式会社 撮像装置及びその制御方法、撮像システム
IT201800006253A1 (it) * 2018-06-12 2019-12-12 Metodo e impianto per la localizzazione di punti su una superficie complessa nello spazio
US11379967B2 (en) * 2019-01-18 2022-07-05 Kla Corporation Methods and systems for inspection of semiconductor structures with automatically generated defect features
US11006053B2 (en) * 2019-07-30 2021-05-11 GM Global Technology Operations LLC Weld inspection system and method
WO2021054059A1 (ja) * 2019-09-20 2021-03-25 株式会社Ｓｃｒｅｅｎホールディングス 撮像装置
EP3819586B1 (en) * 2019-11-08 2022-03-30 M-XR Limited Method for generating a three-dimensional model of an object
LU101529B1 (de) * 2019-12-12 2021-06-15 Aim Systems Gmbh Vorrichtung und Verfahren zur Bestimmung einer Materialeigenschaft eines Prüfkörpers in einem oberflächennahen Prüfkörperbereich
US10996165B1 (en) * 2020-03-19 2021-05-04 The Boeing Company Apparatus and method for measuring UV coating effectiveness
KR102268909B1 (ko) * 2020-04-10 2021-06-23 코그넥스코오포레이션 Edge Field와 딥러닝 기반 검사 방법
US11301980B2 (en) * 2020-04-21 2022-04-12 GM Global Technology Operations LLC System and method to evaluate the integrity of spot welds
US11937019B2 (en) 2021-06-07 2024-03-19 Elementary Robotics, Inc. Intelligent quality assurance and inspection device having multiple camera modules
US11232554B1 (en) * 2021-06-07 2022-01-25 Elementary Robotics, Inc. Machine-learning based camera image triggering for quality assurance inspection processes
CN111707692A (zh) * 2020-07-17 2020-09-25 碳升技术服务(北京)有限公司 汽车零部件的缺陷检测方法、系统及电子设备
CN111862067B (zh) * 2020-07-28 2021-10-26 中山佳维电子有限公司 一种焊接缺陷检测方法、装置、电子设备以及存储介质
FR3113325B1 (fr) 2020-08-04 2022-07-08 Michelin & Cie Système et Procédé de Reconnaissance Automatique des Interfaces dans des Profils de Produits des Pneumatiques
CN116075855A (zh) * 2020-08-19 2023-05-05 3M创新有限公司 机器人修复控制系统和方法
US11494892B2 (en) * 2020-08-21 2022-11-08 Abb Schweiz Ag Surface defect detection system
EP3971556A1 (en) * 2020-09-17 2022-03-23 Evonik Operations GmbH Qualitative or quantitative characterization of a coating surface
CN112304957A (zh) * 2020-11-20 2021-02-02 天津朗硕机器人科技有限公司 一种基于机器视觉的外观缺陷智能检测方法及系统
FR3116806B1 (fr) * 2020-11-27 2022-11-11 Airbus Operations Sas Drone volant pour l’inspection de surfaces et procédé d’inspection de surfaces au moyen d’un tel drone volant
WO2022152374A1 (en) * 2021-01-13 2022-07-21 Eaton Intelligent Power Limited A surface roughness measurement system
US20240230547A1 (en) * 2021-06-21 2024-07-11 Nissan Motor Co., Ltd. Coating evaluation device and coating evaluation method
WO2022269301A1 (ja) * 2021-06-21 2022-12-29 日産自動車株式会社 塗装評価装置及び塗装評価方法
US20240288375A1 (en) * 2021-06-21 2024-08-29 Nissan Motor Co., Ltd. Coating evaluation device and coating evaluation method
DE102021122939B4 (de) * 2021-09-06 2023-06-01 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum Beurteilen einer Oberfläche eines Karosseriebauteils sowie Verfahren zum Trainieren eines künstlichen neuronalen Netzes
DE102021123880A1 (de) * 2021-09-15 2023-03-16 Isra Vision Gmbh Verfahren und Vorrichtung zur Erkennung von lokalen Fehlern auf einer spiegelnden Oberfläche
EP4402450A1 (en) * 2021-09-16 2024-07-24 Schneider GmbH & Co. KG Method and apparatus for quality control of ophthalmic lenses
US11605159B1 (en) 2021-11-03 2023-03-14 Elementary Robotics, Inc. Computationally efficient quality assurance inspection processes using machine learning
US12051186B2 (en) 2021-11-03 2024-07-30 Elementary Robotics, Inc. Automatic object detection and changeover for quality assurance inspection
US11675345B2 (en) 2021-11-10 2023-06-13 Elementary Robotics, Inc. Cloud-based multi-camera quality assurance architecture
US12050454B2 (en) 2021-11-10 2024-07-30 Elementary Robotics, Inc. Cloud-based multi-camera quality assurance lifecycle architecture
CN113899755A (zh) * 2021-11-17 2022-01-07 武汉华星光电半导体显示技术有限公司 屏幕折痕程度的检测方法和视觉检测设备
CN113899754A (zh) * 2021-11-17 2022-01-07 武汉华星光电半导体显示技术有限公司 屏幕褶皱程度的检测方法和视觉检测设备
US11605216B1 (en) 2022-02-10 2023-03-14 Elementary Robotics, Inc. Intelligent automated image clustering for quality assurance
CN114299065B (zh) * 2022-03-03 2022-06-17 科大智能物联技术股份有限公司 丝锭外观成型不良缺陷检测与分级方法、存储介质及设备
CN114594103B (zh) * 2022-04-12 2023-05-16 四川大学 核工业设备表面缺陷自动检测及报告自动生成方法及系统
CN115236085A (zh) * 2022-07-19 2022-10-25 中冶赛迪信息技术(重庆)有限公司 一种利用投射曲线识别表面质量的方法
WO2024138009A2 (en) * 2022-12-22 2024-06-27 Arizona Board Of Regents On Behalf Of The University Of Arizona Multi-spectral and polarization structured light illumination for three-dimensional imaging

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5175601A (en) * 1991-10-15 1992-12-29 Electro-Optical Information Systems High-speed 3-D surface measurement surface inspection and reverse-CAD system
US5216481A (en) * 1990-12-19 1993-06-01 Toyo Glass Co., Ltd. Method of and apparatus for inspecting transparent object for defect
JPH05164696A (ja) * 1991-12-11 1993-06-29 Nissan Motor Co Ltd 塗装面評価装置
US5307152A (en) * 1992-09-29 1994-04-26 Industrial Technology Institute Moire inspection system
US20070206182A1 (en) * 2003-10-21 2007-09-06 Daihatsu Motor Co., Ltd. Surface Defect Inspecting Method And Device

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4920385A (en) 1984-02-14 1990-04-24 Diffracto Ltd. Panel surface flaw inspection
US6476913B1 (en) * 1998-11-30 2002-11-05 Hitachi, Ltd. Inspection method, apparatus and system for circuit pattern
US6639685B1 (en) 2000-02-25 2003-10-28 General Motors Corporation Image processing method using phase-shifted fringe patterns and curve fitting
US6738507B2 (en) 2001-01-09 2004-05-18 Ford Global Technologies, Llc Apparatus and method for correlating part design geometry, manufacturing tool geometry, and manufactured part geometry
JP3788279B2 (ja) * 2001-07-09 2006-06-21 株式会社日立製作所 パターン検査方法及び装置
JP2006216865A (ja) * 2005-02-04 2006-08-17 Canon Inc 判別方法及び装置、露光装置、並びにデバイス製造方法
JP4282643B2 (ja) 2005-08-30 2009-06-24 ダイハツ工業株式会社 歪評価装置及び歪評価方法
US8134681B2 (en) * 2006-02-17 2012-03-13 Nikon Corporation Adjustment method, substrate processing method, substrate processing apparatus, exposure apparatus, inspection apparatus, measurement and/or inspection system, processing apparatus, computer system, program and information recording medium
JP4616864B2 (ja) * 2007-06-20 2011-01-19 株式会社日立ハイテクノロジーズ 外観検査方法及びその装置および画像処理評価システム
US8126255B2 (en) * 2007-09-20 2012-02-28 Kla-Tencor Corp. Systems and methods for creating persistent data for a wafer and for using persistent data for inspection-related functions
JP5820735B2 (ja) * 2012-01-27 2015-11-24 昭和電工株式会社 表面検査方法及び表面検査装置
DE102012104282A1 (de) 2012-05-16 2013-11-21 Isra Vision Ag Verfahren und Vorrichtung zur Inspektion von Oberflächen eines untersuchten Objekts
FR2993662B1 (fr) * 2012-07-23 2015-05-15 Msc & Sgcc Procede et installation pour la detection notamment de defauts refractants
US20160284075A1 (en) * 2013-03-14 2016-09-29 Essess, Inc. Methods, apparatus, and systems for structural analysis using thermal imaging
US20140268105A1 (en) * 2013-03-15 2014-09-18 Zygo Corporation Optical defect inspection system
US9816939B2 (en) * 2014-07-22 2017-11-14 Kla-Tencor Corp. Virtual inspection systems with multiple modes
BR102016028266A2 (pt) * 2016-12-01 2018-06-19 Autaza Tecnologia Ltda - Epp Método e sistema para a inspeção automática de qualidade de materiais
US10607119B2 (en) * 2017-09-06 2020-03-31 Kla-Tencor Corp. Unified neural network for defect detection and classification

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5216481A (en) * 1990-12-19 1993-06-01 Toyo Glass Co., Ltd. Method of and apparatus for inspecting transparent object for defect
US5175601A (en) * 1991-10-15 1992-12-29 Electro-Optical Information Systems High-speed 3-D surface measurement surface inspection and reverse-CAD system
JPH05164696A (ja) * 1991-12-11 1993-06-29 Nissan Motor Co Ltd 塗装面評価装置
US5307152A (en) * 1992-09-29 1994-04-26 Industrial Technology Institute Moire inspection system
US20070206182A1 (en) * 2003-10-21 2007-09-06 Daihatsu Motor Co., Ltd. Surface Defect Inspecting Method And Device

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11055531B1 (en) * 2018-08-24 2021-07-06 United Services Automobiie Association (USAA) Augmented reality method for repairing damage or replacing physical objects
US11709253B1 (en) 2018-08-24 2023-07-25 United Services Automobile Association (Usaa) Augmented reality method for repairing damage or replacing physical objects
WO2020070673A1 (en) * 2018-10-01 2020-04-09 Guardian Glass, LLC Method and system for detecting inclusions in float glass based on spectral reflectance analysis
US11940383B2 (en) 2018-10-01 2024-03-26 Guardian Glass, LLC Method and system for detecting inclusions in float glass based on spectral reflectance analysis
EP3715779A1 (de) * 2019-03-29 2020-09-30 FRAUNHOFER-GESELLSCHAFT zur Förderung der angewandten Forschung e.V. Verfahren und vorrichtung zur bestimmung von verformungen an einem objekt
WO2020201217A1 (de) * 2019-03-29 2020-10-08 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Verfahren und vorrichtung zur bestimmung von verformungen an einem objekt
EP3748538A1 (en) * 2019-06-04 2020-12-09 Alexis Gruet Identification of structural imperfections on a reflective surface
WO2020245314A1 (en) * 2019-06-04 2020-12-10 Alexis Gruet Identification of structural imperfections on a reflective surface
CN110702035A (zh) * 2019-10-25 2020-01-17 四川大学青岛研究院 一种基于面结构光的家电喷涂质量检测系统及方法
CN114309513A (zh) * 2020-09-27 2022-04-12 上海梅山钢铁股份有限公司 一种连铸板坯模拟切割方法
WO2022115928A1 (pt) * 2020-12-04 2022-06-09 Autaza Tecnologia Ltda - Epp Métodos e sistemas para a inspeção de qualidade de materiais e de superfícies tridimensionais em ambiente virtual

Also Published As

Publication number Publication date
BR112019011092A2 (pt) 2019-10-01
BR132019025379E2 (pt) 2020-04-22
US20190287237A1 (en) 2019-09-19
BR102016028266A2 (pt) 2018-06-19
US11024020B2 (en) 2021-06-01

Similar Documents

Publication Publication Date Title
WO2018098551A1 (pt) Método e sistema para a inspeção automática de qualidade de materiais
KR102646521B1 (ko) 편광 큐를 이용한 표면 모델링 시스템 및 방법
Ren et al. State of the art in defect detection based on machine vision
US20190318469A1 (en) Defect detection using coherent light illumination and artificial neural network analysis of speckle patterns
CN104508423B (zh) 用于被检查对象的表面的检查的方法和装置
CN111272763A (zh) 用于工件检查的系统和方法
Arnal et al. Detecting dings and dents on specular car body surfaces based on optical flow
US11674907B2 (en) Method and device for recognising and analysing surface defects in three-dimensional objects having a reflective surface, in particular motor vehicle bodies
Eshkevari et al. Automatic dimensional defect detection for glass vials based on machine vision: A heuristic segmentation method
CN112243519A (zh) 光学测试件的材料测试
Stavropoulos et al. A vision-based system for real-time defect detection: a rubber compound part case study
de la Calle Herrero et al. Inspection system for rail surfaces using differential images
US20220178838A1 (en) Method and apparatus for determining deformations on an object
Jaffery et al. Scope and prospects of non-invasive visual inspection systems for industrial applications
US20240087105A1 (en) Systems and Methods for Paint Defect Detection Using Machine Learning
JP2013539052A (ja) レトロ反射型撮像
CA3109406C (en) Systems and methods for surface modeling using polarization cues
TWI407078B (zh) Micro - lens array surface profile detection system and its detection method
CN111344553B (zh) 曲面物体的缺陷检测方法及检测系统
Arnqvist et al. Efficient surface finish defect detection using reduced rank spline smoothers and probabilistic classifiers
Akhtar et al. A robotics inspection system for detecting defects on semi-specular painted automotive surfaces
Wei et al. Surface Defects Detection of Cylindrical High-Precision Industrial Parts Based on Deep Learning Algorithms: A Review
US20240221143A1 (en) Methods and systems for the automatic quality inspection of materials using infrared radiation
Tezerjani High resolution visual pipe characterization system using an omnidirectional camera
BR102022025677A2 (pt) Métodos e sistemas para a inspeção automática de qualidade de materiais utilizando radiação infravermelha

Legal Events

Date Code Title Description
DPE1 Request for preliminary examination filed after expiration of 19th month from priority date (pct application filed from 20040101)
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17875696

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

REG Reference to national code

Ref country code: BR

Ref legal event code: B01A

Ref document number: 112019011092

Country of ref document: BR

ENP Entry into the national phase

Ref document number: 112019011092

Country of ref document: BR

Kind code of ref document: A2

Effective date: 20190530

122 Ep: pct application non-entry in european phase

Ref document number: 17875696

Country of ref document: EP

Kind code of ref document: A1