KR102523195B1 - Fusion vision inspection system for applied automobile sealer inspection - Google Patents
Fusion vision inspection system for applied automobile sealer inspection Download PDFInfo
- Publication number
- KR102523195B1 KR102523195B1 KR1020220108976A KR20220108976A KR102523195B1 KR 102523195 B1 KR102523195 B1 KR 102523195B1 KR 1020220108976 A KR1020220108976 A KR 1020220108976A KR 20220108976 A KR20220108976 A KR 20220108976A KR 102523195 B1 KR102523195 B1 KR 102523195B1
- Authority
- KR
- South Korea
- Prior art keywords
- sealer
- image
- application
- vision inspection
- target location
- Prior art date
Links
- 238000007689 inspection Methods 0.000 title claims abstract description 92
- 230000004927 fusion Effects 0.000 title claims abstract description 74
- 238000010801 machine learning Methods 0.000 claims abstract description 27
- 238000012545 processing Methods 0.000 claims abstract description 23
- 238000000034 method Methods 0.000 claims abstract description 22
- 239000007921 spray Substances 0.000 claims abstract description 4
- 238000001931 thermography Methods 0.000 claims description 19
- 230000002950 deficient Effects 0.000 claims description 11
- 230000006870 function Effects 0.000 claims description 10
- 239000000284 extract Substances 0.000 claims description 8
- 238000012544 monitoring process Methods 0.000 claims description 5
- 238000001125 extrusion Methods 0.000 claims description 2
- 238000002347 injection Methods 0.000 claims description 2
- 239000007924 injection Substances 0.000 claims description 2
- 238000004458 analytical method Methods 0.000 abstract description 2
- 230000007547 defect Effects 0.000 description 31
- 238000010586 diagram Methods 0.000 description 14
- 230000008569 process Effects 0.000 description 10
- 238000001514 detection method Methods 0.000 description 8
- 239000011248 coating agent Substances 0.000 description 5
- 238000000576 coating method Methods 0.000 description 5
- 239000000853 adhesive Substances 0.000 description 3
- 230000001070 adhesive effect Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 239000000446 fuel Substances 0.000 description 2
- 239000002184 metal Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 239000013585 weight reducing agent Substances 0.000 description 2
- 239000000919 ceramic Substances 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000003412 degenerative effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005507 spraying Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000003466 welding Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B05—SPRAYING OR ATOMISING IN GENERAL; APPLYING FLUENT MATERIALS TO SURFACES, IN GENERAL
- B05C—APPARATUS FOR APPLYING FLUENT MATERIALS TO SURFACES, IN GENERAL
- B05C5/00—Apparatus in which liquid or other fluent material is projected, poured or allowed to flow on to the surface of the work
- B05C5/02—Apparatus in which liquid or other fluent material is projected, poured or allowed to flow on to the surface of the work the liquid or other fluent material being discharged through an outlet orifice by pressure, e.g. from an outlet device in contact or almost in contact, with the work
- B05C5/0208—Apparatus in which liquid or other fluent material is projected, poured or allowed to flow on to the surface of the work the liquid or other fluent material being discharged through an outlet orifice by pressure, e.g. from an outlet device in contact or almost in contact, with the work for applying liquid or other fluent material to separate articles
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B05—SPRAYING OR ATOMISING IN GENERAL; APPLYING FLUENT MATERIALS TO SURFACES, IN GENERAL
- B05C—APPARATUS FOR APPLYING FLUENT MATERIALS TO SURFACES, IN GENERAL
- B05C5/00—Apparatus in which liquid or other fluent material is projected, poured or allowed to flow on to the surface of the work
- B05C5/02—Apparatus in which liquid or other fluent material is projected, poured or allowed to flow on to the surface of the work the liquid or other fluent material being discharged through an outlet orifice by pressure, e.g. from an outlet device in contact or almost in contact, with the work
- B05C5/0291—Apparatus in which liquid or other fluent material is projected, poured or allowed to flow on to the surface of the work the liquid or other fluent material being discharged through an outlet orifice by pressure, e.g. from an outlet device in contact or almost in contact, with the work the material being discharged on the work through discrete orifices as discrete droplets, beads or strips that coalesce on the work or are spread on the work so as to form a continuous coating
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
- G01J5/48—Thermography; Techniques using wholly visual means
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8806—Specially adapted optical and illumination features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
- G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/174—Segmentation; Edge detection involving the use of two or more images
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
- G01J2005/0077—Imaging
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
- G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Immunology (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Pathology (AREA)
- Quality & Reliability (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Signal Processing (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
Description
본 발명은 도포된 자동차 실러 검사용 퓨전비전검사시스템에 관한 것으로, 보다 상세하게는 빛반사를 이용한 비전 카메라와 온도차를 이용한 열화상 카메라를 통해 수집된 이미지를 머신러닝기반의 알고리즘으로 분석하여, 실러 도포 품질을 검사하기 위한 퓨전비전검사시스템에 관한 것이다.The present invention relates to a fusion vision inspection system for inspecting applied automotive sealer, and more particularly, by analyzing images collected through a vision camera using light reflection and a thermal imaging camera using a temperature difference with a machine learning-based algorithm, It relates to a fusion vision inspection system for inspecting coating quality.
최근 산업자동화와 더불어 공산품의 품질에 대한 인식이 날로 증가하면서 품질 향상에 도움이 되는 비전 검사장비에 대한 수요가 급격하게 증대되고 있다.Recently, as awareness of the quality of industrial products increases day by day along with industrial automation, the demand for vision inspection equipment that helps improve quality is rapidly increasing.
자동차의 차체의 경량화에 따른 연비 향상 및 충격에 의한 금속의 변형을 억제하는 역할 등으로 인해 차체 및 구조물 간의 접합을 위해 접착제(실러)의 사용이 증가하고 있는 추세이다.The use of adhesives (sealers) for bonding between car bodies and structures is increasing due to the role of suppressing deformation of metal due to impact and improvement of fuel efficiency according to the weight reduction of automobile bodies.
도포된 실러의 불량 검출을 위하여 비전검사시스템을 많이 사용하고 있다.A vision inspection system is widely used to detect defects in the applied sealer.
일반적인 비전 불량 검사는 외부의 다양한 조명 영향을 차단하는 쉴딩 구조 내에서 일정한 조명환경을 유지한 후 시료의 불량을 검사한다.A general vision defect inspection inspects defects of a sample after maintaining a constant lighting environment within a shielding structure that blocks various external lighting influences.
대부분의 생산 제조현장에서는 일정한 조명환경을 구축하는 것에 대한 높은 비용과 시간 투자를 하지 못하고 있는 실정이다.In most production and manufacturing sites, high cost and time investment for establishing a constant lighting environment is not possible.
이를 해결하기 위한, 열화상 카메라는 자동차 부품과 실러와의 온도 차를 이용하여 불량을 검사하는 방법으로, 겨울철에는 자동차 부품과 실러와의 온도차가 분명하게 구분되지만 여름철에는 온도 차가 명확하게 구분되지 않아 부품과 실러의 경계를 인식하는데 한계가 있다.To solve this problem, a thermal imaging camera is a method of inspecting defects by using the temperature difference between automobile parts and sealer. In winter, the temperature difference between automobile parts and sealer is clearly distinguished, but in summer, the temperature difference is not clearly distinguished. There is a limit to recognizing the boundary between parts and sealer.
또는, 비전검사시스템을 이용하여 실러 도포 불량 구간을 검출 시 작업자가 수작업을 통해 불량 구간에 실러를 재도포 할 수 있다.Alternatively, when the sealer application defect section is detected using the vision inspection system, the operator can manually re-apply the sealer to the defect section.
이에 따라, 외부로부터 빛 반사에 의한 영향을 최소화하여 불량검출 정확도를 높이고, 비전검사 정보를 활용하여 불량 구간에 실러를 자동으로 재도포할 수 있는 자동차 실러 도포 시스템에 관한 연구가 요구된다.Accordingly, research on a car sealer application system that can increase defect detection accuracy by minimizing the influence of light reflection from the outside and automatically reapply the sealer to the defective section using vision inspection information is required.
본 발명의 목적은, 비전 카메라와 열화상 카메라의 장점을 극대화시킨 퓨전 비전검사시스템을 통해 도포된 실러의 불량 검출 정확도를 향상시키는 것이다.An object of the present invention is to improve the defect detection accuracy of the applied sealer through a fusion vision inspection system that maximizes the advantages of a vision camera and a thermal imaging camera.
또한, 본 발명의 목적은, 퓨전 비전검사시스템을 이용하여 도포된 실러를 촬영하고 수집된 결과를 영상처리를 통해 결함의 특징을 수치화하는 것이다.In addition, an object of the present invention is to photograph the applied sealer using the fusion vision inspection system and to quantify the characteristics of defects through image processing of the collected results.
또한, 본 발명의 목적은, 수치화된 결함의 특징을 SVM 머신러닝 알고리즘을 활용 및 학습하여 실러 도포의 결함을 자동으로 검출하는 것이다.In addition, an object of the present invention is to automatically detect defects in sealer application by utilizing and learning the characteristics of digitized defects using an SVM machine learning algorithm.
또한, 본 발명의 목적은, SVM 머신러닝 알고리즘으로 도출된 도포 결함 정보를 활용하여 재도포 구간을 계산하고, 불량구간에 자동으로 재도포하는 것이다.In addition, an object of the present invention is to calculate a re-application section by utilizing the application defect information derived by the SVM machine learning algorithm, and automatically re-apply in the defective section.
본 발명의 일 실시례에 따른 도포된 자동차 실러 검사용 퓨전비전검사시스템은, 자동차의 대상 위치에 기설정된 양의 실러를 분사하는 실러 도포부와 상기 대상 위치의 실러 도포 상태를 촬영하는 퓨전비전검사용 카메라와 상기 퓨전비전검사용 카메라에서 추출된 이미지를 기설정된 파일 양식으로 전환하고, 기지정된 머신러닝 알고리즘에 기초하여 상기 대상 위치의 실러 도포 품질을 분석하는 이미지 처리부 및 상기 이미지 처리부에서 분석된 상기 실러 도포 품질에 따라 상기 실러 도포부의 재도포 여부를 제어하는 제어부를 포함하고, 상기 실러 도포부는, 실러를 기지정된 온도로 유지하는 온열발생장치와 온도센서가 마련된 실러 용기와 상기 실러 용기에서 실러를 공급받고, 상기 대상 위치에 대응하는 기설정된 도포패턴에 따라 이동하는 로봇 암 및 상기 로봇 암의 하단에 구비되어 상기 대상 위치에 실러를 공기압 방식으로 도포되는 도포 건으로 구성되고, 상기 퓨전비전검사용 카메라는, 조명장치에 의해 방출된 빛의 반사광을 수신하여 상기 대상 위치에 도포된 실러의 이미지를 추출하는 비전 카메라 모듈이 구비된 제1 촬영부와 상기 대상 위치에 도포된 실러 영역과 주변 영역의 온도차를 센싱하여 이미지를 추출하는 열화상 카메라 모듈이 구비된 제2 촬영부로 구성될 수 있다.A Fusion Vision inspection system for inspecting applied automotive sealer according to an embodiment of the present invention includes a sealer applicator that sprays a predetermined amount of sealer to a target location of a vehicle and a Fusion Vision inspection that photographs the sealer application state at the target location. An image processing unit that converts images extracted from the fusion vision camera and the fusion vision inspection camera into a preset file format and analyzes the sealer application quality of the target location based on a predetermined machine learning algorithm; A control unit for controlling re-application of the sealer applicator according to sealer application quality, wherein the sealer applicator includes a sealer container equipped with a heat generating device and a temperature sensor for maintaining the sealer at a predetermined temperature, and the sealer from the sealer container. It is composed of a robot arm that receives supply and moves according to a predetermined application pattern corresponding to the target position, and a coating gun provided at the lower end of the robot arm to apply the sealer to the target position in a pneumatic manner, and the fusion vision inspection camera. , a temperature difference between a first photographing unit equipped with a vision camera module that receives reflected light of light emitted by a lighting device and extracts an image of the sealer applied to the target position, and the sealer area applied to the target position and the surrounding area It may be composed of a second photographing unit equipped with a thermal imaging camera module that senses and extracts an image.
또한, 상기 이미지 처리부는, 상기 제1 촬영부에서 촬영된 이미지와 제2 촬영부에서 촬영된 각각의 이미지를 추출하여 픽셀단위의 이미지 형식으로 전환하고, 관제 서버에서 상기 픽셀단위의 이미지를 SVM방식의 머신러닝 알고리즘에 기초하여 이미지를 실시간으로 처리하여, 도포 상태를 판단할 수 있다.In addition, the image processing unit extracts each of the images captured by the first and second capturing units and converts them into pixel-unit image formats, and converts the pixel-unit images into an SVM method in the control server. Based on the machine learning algorithm of the image processing in real time, it is possible to determine the application state.
또한, 상기 SVM 머신러닝 알고리즘을 기반으로 이미지를 실시간으로 처리하는 퓨전비전검사시스템은, 제1 촬영부에서 촬영된 실러 도포 이미지를 추출하는 제1 단계와 제2 촬영부에서 촬영된 실러 도포 이미지를 추출하는 제2 단계와 추출된 각각의 실러 도포 이미지를 겹쳐 하나의 이미지로 생성하는 제3 단계와 상기 이미지를 정상 도포 상태의 이미지 센터 라인을 기준으로 기설정된 도포 폭에 대한 픽셀 수를 계산하여 복원하는 제4 단계와 상기 실러 도포가 정상인 경우, 실러 도포 대상물을 교체하는 신호를 생성하는 제5 단계 및 상기 실러 도포가 불량인 경우, 복원된 이미지는 미도포된 상태로 복원되며, 미도포된 상기 대상 위치에 실러 재도포 신호를 생성하는 제6 단계를 포함할 수 있다.In addition, the fusion vision inspection system for processing images in real time based on the SVM machine learning algorithm includes a first step of extracting a sealer application image taken from the first capture unit and a sealer application image taken from the second capture unit. The second step of extracting and the third step of overlapping each extracted sealer application image to create a single image and restoring the image by calculating the number of pixels for a predetermined application width based on the image center line in a normal application state If the sealer application is normal, the fifth step of generating a signal to replace the object to which the sealer is applied, and if the sealer application is poor, the restored image is restored to an unapplied state, and the unapplied image is restored. A sixth step of generating a sealer redistribution signal at the target location may be included.
또한, 상기 SVM 머신러닝 알고리즘을 기반으로 하는 퓨전비전검사시스템은, 상기 제4 단계에서 실러 도포 영역을 검출하기 위해 하기 [수학식 1]을 통해 정상 실러 도포 데이터에서 실러 도포 후의 데이터의 차를 구하여 실러가 도포된 영역을 계산하고, 상기 실러 도포 영역에서 실제 실러가 도포된 픽셀의 위치를 계산하며, 하기 [수학식 2]를 통해 상기 SVM 머신러닝 알고리즘 방식을 이용하여 실러의 불량 도포 검사를 최적화하는 비용함수를 산출할 수 있다.In addition, the fusion vision inspection system based on the SVM machine learning algorithm calculates the difference between normal sealer application data and data after sealer application through the following [Equation 1] to detect the sealer application area in the fourth step, The area where the sealer is applied is calculated, the position of the pixel where the sealer is actually applied is calculated in the area where the sealer is applied, and the SVM machine learning algorithm method is used to optimize the sealer application defect inspection through [Equation 2] below. A cost function can be calculated.
[수학식 1][Equation 1]
(여기서, A는 정상 실러 도포 데이터, B는 실러 도포 후의 데이터 및 R은 실러가 도포된 영역을 의미함)(Here, A is normal sealer application data, B is data after sealer application, and R is the area where the sealer is applied)
[수학식 2][Equation 2]
(여기서,
또한, 하기 [수학식 3]에 의해 산출되는 상기 온도센서의 평균오차(Aerr)가 기설정된 한계오차(Serr)보다 큰 경우, 상기 온도센서가 고장난 것으로 판단하는 센서 모니터링부를 더 포함할 수 있다.In addition, when the average error (A err ) of the temperature sensor calculated by the following [Equation 3] is greater than the predetermined limit error (S err ), a sensor monitoring unit for determining that the temperature sensor is out of order may further be included. there is.
[수학식 3][Equation 3]
(여기서, Aerr은 평균오차, Taver는 상기 온도센서 센서값의 전체평균, Paver는 상기 온도센서 센서값 n개에 대한 일부평균, Tσ는 상기 온도센서 센서값의 전체표준편차를 의미함)(Here, A err is the average error, T aver is the overall average of the temperature sensor sensor values, P aver is a partial average of n temperature sensor sensor values, and T σ means the total standard deviation of the temperature sensor sensor values box)
본 발명에 의하면, 비전 카메라와 열화상 카메라의 장점을 극대화시킨 퓨전 비전검사시스템을 통해 도포된 실러의 불량 검출 정확도를 향상시킬 수 있다.According to the present invention, it is possible to improve the defect detection accuracy of the applied sealer through a fusion vision inspection system that maximizes the advantages of a vision camera and a thermal imaging camera.
또한, 퓨전 비전검사시스템을 이용하여 도포된 실러를 촬영하고 수집된 결과를 영상처리를 통해 결함의 특징을 수치화할 수 있다.In addition, the applied sealer can be photographed using the fusion vision inspection system and the characteristics of the defect can be quantified through image processing of the collected results.
또한, 수치화된 결함의 특징을 SVM 머신러닝 알고리즘을 활용 및 학습하여 실러 도포의 결함을 자동으로 검출할 수 있다.In addition, defects in sealer application can be automatically detected by utilizing and learning the characteristics of digitized defects using the SVM machine learning algorithm.
또한, SVM 머신러닝 알고리즘으로 도출된 도포 결함 정보를 활용하여 재도포 구간을 계산하고, 불량구간에 자동으로 재도포 할 수 있다.In addition, it is possible to calculate the re-application section by utilizing the application defect information derived by the SVM machine learning algorithm and automatically re-apply in the defective section.
도 1은 본 발명의 일 실시례에 따른 도포된 자동차 실러 검사용 퓨전비전검사시스템의 기본 구성을 도시한 블록도.
도 2는 본 발명의 일 실시례에 따른 도포된 자동차 실러 검사용 퓨전비전검사시스템의 전체 구성을 도시한 블록도.
도 3은 본 발명의 일 실시례에 따른 도포된 자동차 실러 검사용 퓨전비전검사시스템의 실러 도포부의 세부 구성을 도시한 블록도.
도 4는 본 발명의 일 실시례에 따른 도포된 자동차 실러 검사용 퓨전비전검사시스템의 3축 자동차 실러 전용 도포기의 전체 시스템을 도시한 블록도.
도 5는 본 발명의 일 실시례에 따른 도포된 자동차 실러 검사용 퓨전비전검사시스템의 실러 도포부의 도포 건을 도시한 블록도.
도 6은 본 발명의 일 실시례에 따른 도포된 자동차 실러 검사용 퓨전비전검사시스템의 실러 3축 전용 도포기를 도시한 블록도.
도 7은 본 발명의 일 실시례에 따른 도포된 자동차 실러 검사용 퓨전비전검사시스템의 퓨전비전검사용 카메라를 도시한 블록도.
도 8은 본 발명의 일 실시례에 따른 도포된 자동차 실러 검사용 퓨전비전검사시스템을 도시한 예상도.
도 9는 본 발명의 일 실시례에 따른 도포된 자동차 실러 검사용 퓨전비전검사시스템의 비전 카메라 모듈의 시간대별 실러 이미지의 외부 조명 영향을 도시한 실시례.
도 10은 본 발명의 일 실시례에 따른 도포된 자동차 실러 검사용 퓨전비전검사시스템의 열화상 카메라 모듈의 도포된 실러의 열화상 이미지를 도시한 실시례.
도 11은 본 발명의 일 실시례에 따른 도포된 자동차 실러 검사용 퓨전비전검사시스템의 열화상 카메라에서 추출된 불량 도포 상태를 도시한 실시례.
도 12는 본 발명의 일 실시례에 따른 도포된 자동차 실러 검사용 퓨전비전검사시스템의 영상 수치화 과정을 도시한 실시례.
도 13은 본 발명의 일 실시례에 따른 도포된 자동차 실러 검사용 퓨전비전검사시스템을 활용한 도포된 실러의 정상/불량 판단과정을 도시한 순서도.
도 14는 본 발명의 일 실시례에 따른 도포된 자동차 실러 검사용 퓨전비전검사시스템의 SVM 머신러닝 알고리즘을 이용한 불량 검출 과정을 도시한 순서도.1 is a block diagram showing the basic configuration of a fusion vision inspection system for inspecting a coated automotive sealer according to an embodiment of the present invention.
2 is a block diagram showing the entire configuration of a fusion vision inspection system for inspecting a coated automotive sealer according to an embodiment of the present invention.
3 is a block diagram showing a detailed configuration of a sealer application unit of a fusion vision inspection system for inspecting an applied automotive sealer according to an embodiment of the present invention.
4 is a block diagram showing the entire system of a three-axis automotive sealer-only applicator of the Fusion Vision inspection system for inspecting applied automotive sealers according to an embodiment of the present invention.
5 is a block diagram illustrating a coating gun of a sealer applicator of a fusion vision inspection system for inspecting an applied automotive sealer according to an embodiment of the present invention.
6 is a block diagram showing a three-axis sealer applicator of a fusion vision inspection system for inspecting an applied automotive sealer according to an embodiment of the present invention.
7 is a block diagram showing a camera for fusion vision inspection of a fusion vision inspection system for inspecting a coated automotive sealer according to an embodiment of the present invention.
8 is a projected view showing a fusion vision inspection system for inspecting a coated automotive sealer according to an embodiment of the present invention.
FIG. 9 is an example illustrating the effect of external light on a sealer image for each time period of a vision camera module of a fusion vision inspection system for inspecting an applied automotive sealer according to an embodiment of the present invention.
10 is an embodiment showing a thermal image of an applied sealer of a thermal imaging camera module of a fusion vision inspection system for inspecting an applied automotive sealer according to an embodiment of the present invention.
11 is an embodiment illustrating a defective application state extracted from a thermal image camera of a fusion vision inspection system for inspecting an applied automotive sealer according to an embodiment of the present invention.
12 is an embodiment showing an image digitization process of a fusion vision inspection system for inspecting an applied automotive sealer according to an embodiment of the present invention.
13 is a flowchart illustrating a process of determining normal/defectiveness of an applied sealer using the Fusion Vision inspection system for inspecting an applied automotive sealer according to an embodiment of the present invention.
14 is a flowchart illustrating a defect detection process using the SVM machine learning algorithm of the fusion vision inspection system for inspecting the applied automotive sealer according to an embodiment of the present invention.
이하에서는 도면을 참조하여 본 발명의 구체적인 실시예를 상세하게 설명한다. 다만, 본 발명의 사상은 제시되는 실시예에 제한되지 아니하고, 본 발명의 사상을 이해하는 당업자는 동일한 사상의 범위 내에서 다른 구성요소를 추가, 변경, 삭제 등을 통하여, 퇴보적인 다른 발명이나 본 발명 사상의 범위 내에 포함되는 다른 실시예를 용이하게 제안할 수 있을 것이나, 이 또한 본원 발명 사상 범위 내에 포함된다고 할 것이다.Hereinafter, specific embodiments of the present invention will be described in detail with reference to the drawings. However, the spirit of the present invention is not limited to the presented embodiments, and those skilled in the art who understand the spirit of the present invention may add, change, delete, etc. other elements within the scope of the same spirit, through other degenerative inventions or the present invention. Other embodiments included within the scope of the inventive idea can be easily proposed, but it will also be said to be included within the scope of the inventive concept.
또한, 각 실시예의 도면에 나타나는 동일한 사상의 범위 내의 기능이 동일한 구성요소는 동일한 참조부호를 사용하여 설명한다.In addition, components having the same function within the scope of the same idea appearing in the drawings of each embodiment are described using the same reference numerals.
도 1은 본 발명의 일 실시례에 따른 도포된 자동차 실러 검사용 퓨전비전검사시스템의 기본 구성을 도시한 블록도이고, 도 2는 본 발명의 일 실시례에 따른 도포된 자동차 실러 검사용 퓨전비전검사시스템의 전체 구성을 도시한 블록도이다.1 is a block diagram showing the basic configuration of a Fusion Vision inspection system for inspecting a coated automotive sealer according to an embodiment of the present invention, and FIG. 2 is a Fusion Vision for inspecting a coated automotive sealer according to an embodiment of the present invention. It is a block diagram showing the overall configuration of the inspection system.
자동차에 실러를 도포하는 방법에는 로봇을 활용한 방법과 전용 도포기를 사용하는 방법이 있는데, 본 발명에서는 실러 도포 효율을 최적화하기 위해 전용 도포기를 사용한다.Methods for applying sealer to vehicles include a method using a robot and a method using a dedicated applicator. In the present invention, a dedicated applicator is used to optimize sealer application efficiency.
자동차 실러 도포하는 대표적인 구성물은 실러 탱크, 도포로봇, 전장시스템, 도포 건, 검사시스템, 지그 및 대상물 등이 있다.Representative components for applying automotive sealer include a sealer tank, a coating robot, an electrical system, a coating gun, an inspection system, a jig, and an object.
라인에 있는 차체의 실러 도포는 라인에 설치된 로봇을 활용하며, 동립 구성품들은 전용 도포기를 주로 활용할 수 있다.The sealer application of the car body in the line utilizes a robot installed in the line, and the independent components can mainly utilize a dedicated applicator.
도 1 내지 도 2를 참조하면, 도포된 자동차 실러 검사용 퓨전비전검사시스템(10)은 실러 도포부(100), 퓨전비전검사용 카메라(200), 이미지 처리부(300) 및 제어부(400)를 포함할 수 있다.1 and 2, the fusion
상기 실러 도포부(100)는 자동차의 대상 위치에 기설정된 양의 실러를 분사할 수 있다.The
이하, 도 3을 참조하여 상기 실러 도포부(100)에 대하여 더욱 자세히 설명하기로 한다.Hereinafter, the
도 3은 본 발명의 일 실시례에 따른 도포된 자동차 실러 검사용 퓨전비전검사시스템(10)의 실러 도포부(100)의 세부 구성을 도시한 블록도이다.3 is a block diagram showing the detailed configuration of the
도 3을 참조하면, 상기 실러 도포부(100)는, 실러 용기(110), 로봇 암(120) 및 도포 건(130)으로 구성될 수 있다.Referring to FIG. 3 , the
상기 실러 용기(110)에는 실러를 기지정된 온도로 유지하는 온열발생장치와 온도센서가 포함될 수 있다.The
상기 로봇 암(120)은 상기 실러 용기에서 실러를 공급받고, 상기 대상 위치에 대응하는 기설정된 도포패턴에 따라 이동할 수 있다.The
상기 도포 건(130)은 상기 로봇 암(120)의 하단에 구비되어 상기 대상 위치에 실러를 공기압 방식으로 도포할 수 있다.The
상기 실러 도포부(100)는 X축, Y축, Z축을 포함하는 3개의 축을 전용으로 하는 도포기이며, 더욱 자세하게는 하기의 도 4 내지 도 6을 참조하여 설명하기로 한다.The
도 4는 본 발명의 일 실시례에 따른 도포된 자동차 실러 검사용 퓨전비전검사시스템(10)의 3축 자동차 실러 전용 도포기의 전체 시스템을 도시한 블록도이고, 도 5는 본 발명의 일 실시례에 따른 도포된 자동차 실러 검사용 퓨전비전검사시스템(10)의 실러 3축 전용 도포기를 도시한 블록도이고, 도 6은 본 발명의 일 실시례에 따른 도포된 자동차 실러 검사용 퓨전비전검사시스템(10)의 실러 도포부(100)의 도포 건(130)을 도시한 블록도이다.4 is a block diagram showing the entire system of a 3-axis automotive sealer applicator of the fusion
도 4 내지 도 6을 참조하면, 자동차 실러 도포를 위한 상기 도포 건(130)은 차량용 부품에 실러를 분사할 수 있는 장치이다.Referring to FIGS. 4 to 6 , the
자동차 실러 도포는, 자동차의 차체 및 구조물 간의 접합을 위한 접착제(실러)를 도포하는 것으로 정의할 수 있다.Automotive sealer application can be defined as applying an adhesive (sealer) for bonding between a vehicle body and a structure.
상기 도포 건(130)은 BLCD와 특수 제작된 실러 토출 펌프로 구성될 수 있다.The
종래의 실러 도포 건의 대부분은 AC 서보모터를 사용하지만, 본 발명에 의한 상기 도포 건(130)은 BLDC 모터 및 모터드라이버를 사용할 수 있다.Most of the conventional sealer application guns use an AC servo motor, but the
또한, 상기 도포 건(130)의 경우 실러탱크에서 직접적으로 실러를 공급받지 않고 별도의 실러 용기(110)를 사용하여 실러를 공급받을 수 있고, 상기 실러 용기(110)는 2개가 장착될 수 있다.In addition, in the case of the
2개의 상기 실러 용기(110)에 담긴 실러를 도포하기 적절한 온도로 유지하기 위하여 본 발명의 상기 실러 도포부(100)는 온열발생장치와 온도센서를 구비하여 온도를 제어할 수 있다.In order to maintain the temperature suitable for applying the sealer contained in the two
즉, 온도센서는 상기 실러의 온도를 센싱하여 실러의 정상온도 여부를 판단할 수 있으며, 상기 온도센서의 센싱 결과에 따라 온열방생장치를 동작시켜 실러의 온도를 적절한 온도로 유지할 수 있다.That is, the temperature sensor may sense the temperature of the sealer to determine whether or not the sealer is at a normal temperature, and the temperature of the sealer may be maintained at an appropriate temperature by operating a heat release device according to a sensing result of the temperature sensor.
한편, 온도센서의 신뢰도 유지를 위해 도포된 자동차 실러 검사용 퓨전비전검사 시스템(10)은 상기 온도센서의 고장여부를 판단하는 센서 모니터링부(미도시)를 더 포함할 수 있다.Meanwhile, the fusion
상기 센서 모니터링부(미도시)는 하기 [수학식 3]에 의해 산출되는 상기 온도센서의 평균오차(Aerr)가 기설정된 한계오차(Serr)보다 큰 경우, 상기 온도센서가 고장난 것으로 판단할 수 있다.The sensor monitoring unit (not shown) determines that the temperature sensor is out of order when the average error (A err ) of the temperature sensor calculated by the following [Equation 3] is greater than the preset limit error (S err ). can
[수학식 3][Equation 3]
여기서, Aerr은 평균오차, Taver는 상기 온도센서 센서값의 전체평균, Paver는 상기 온도센서 센서값 n개에 대한 일부평균, Tσ는 상기 온도센서 센서값의 전체표준편차를 의미한다.Here, A err is the average error, T aver is the overall average of the temperature sensor sensor values, P aver is a partial average of n temperature sensor sensor values, and T σ is the total standard deviation of the temperature sensor sensor values. .
보다 상세하게는, Taver는 상기 온도센서 센서값의 전체평균이며, 온도센서가 정상 동작하는 기설정된 기간동안(ex. 한 달) 다수의 데이터를 수집하여 센싱되는 온도값들의 전체 평균을 산출한 값을 의미하고, Tσ는 상기 기설정된 기간동안(ex. 한 달) 다수의 데이터를 수집하여 센싱되는 온도값들의 전체표준편차를 산출한 값을 의미한다.More specifically, T aver is the overall average of the sensor values of the temperature sensor, and a number of data are collected for a predetermined period (ex. one month) during which the temperature sensor normally operates to calculate the overall average of the temperature values sensed. value, and T σ means a value obtained by calculating the total standard deviation of temperature values sensed by collecting a plurality of data for the predetermined period (eg, one month).
또한, Paver는 상기 온도센서 센서값 n개에 대한 일부평균이며, 온도센서가 현장 설치되어 사용되는 과정에서 기설정된 수(n개)의 온도값을 실시간으로 입력받고 상기 기설정된 수(n개)의 온도값에 대한 평균을 산출한 것으로서, 일부 온도값의 평균에 해당하므로 일부평균이라 지칭할 수 있다.In addition, P aver is a partial average of n sensor values of the temperature sensor, and in the process of installing and using the temperature sensor in the field, a preset number (n) of temperature values are input in real time, and the preset number (n) ), it can be referred to as a partial average because it corresponds to the average of some temperature values.
이 때, 일부평균을 이용하여 95%의 신뢰도로 추정평균값을 산출하면, 추정평균값(μ)은 
따라서, 추정평균값(μ)의 상한 또는 하한과 전체평균(Taver)과의 차이값인 평균오차(Aerr)는, 상기 [수학식 3]과 같이 산출될 수 있다.Therefore, the average error (A err ), which is the difference between the upper or lower limit of the estimated average value (μ) and the overall average (T aver ), can be calculated as in [Equation 3] above.
그러므로, 상기 [수학식 3]에 의해 산출되는 평균오차(Aerr)가 기설정된 한계오차(Serr)보다 크다는 것은 실시간으로 입력받은 기설정된 수(n개)의 온도값이 온도센서의 고장으로 잘 못 입력되고 있을 가능성이 매우 높음을 의미하므로, 센서 모니터링부(미도시)는 상기 조건이 만족되면 온도센서가 고장난 것으로 판단할 수 있다.Therefore, the fact that the average error (A err ) calculated by [Equation 3] is greater than the preset limit error (S err ) means that the preset number (n) of temperature values input in real time is due to a failure of the temperature sensor. Since it means that there is a very high possibility that the temperature sensor is input incorrectly, the sensor monitoring unit (not shown) may determine that the temperature sensor is out of order when the above condition is satisfied.
또한, 각각의 상기 실러 용기(110)에 는 근접센서를 부착하여, 상기 부착된 근접센서를 통해 실러의 보충여부를 센싱할 수 있고, 점도가 강한 실러의 압출을 용이하게 하기 위하여 에어를 인가할 수 있는 에어라인을 통해 공기압으로 실러 분사량을 제어할 수 있다.In addition, a proximity sensor is attached to each
상기 도포 건(130)은 상기 실러 용기(110)를 비롯하여, 에어 노즐, 상기 근접센서, 상기 BLDC모터, 세라믹 히터, 상기 온도센서, 펌프 및 노즐 등과 함께 구성되어 실제 현장에 적용될 수 있다.The
본 발명에 의한, 자동차 실러 3축 방식의 상기 실러 도포부(100)는 기설정된 도포패턴에 따라 상기 도포 건(130)을 이동시키는 상기 로봇 암(120)을 컨트롤할 수 있고, 자동차 부품들의 조립을 위해 실러를 도포할 수 있도록 3축 직교로봇 형태로 구성될 수 있다.According to the present invention, the
상기 BLDC 모터를 사용하는 상기 자동차 실러 3축 전용 도포기는 축 구동을 위해, X축, Y축, Z축 각각의 상한과 하한 리미트를 검출하기 위하여 6개의 근접센서를 사용할 수 있다.The 3-axis automotive sealer applicator using the BLDC motor may use 6 proximity sensors to detect upper and lower limits of the X-axis, Y-axis, and Z-axis, respectively, for axis drive.
실러 도포 예정인 부품을 거치할 지그에 부품준비 여부를 검출하기 위하여 6개의 근접센서를 사용할 수 있다.Six proximity sensors can be used to detect whether parts are ready in the jig where parts to be applied with sealer will be mounted.
즉, 상기 6개의 근접센서를 통해 상한과 하한 리미트를 검출하면 실러 도포 예정인 부품의 준비 여부를 파악할 수 있다.That is, if the upper and lower limits are detected through the six proximity sensors, it is possible to determine whether a part to be coated with sealer is ready.
상기 실러 도포에 의한 구조물의 결합은 차체의 경량화에 따른 연비 향상 및 작은 충격에 의한 금속의 변형을 억제할 수 있고, 차량 내부에서 발생되는 소음을 줄여주며, 볼트 및 용접을 사용하지 않아 외관상의 장점도 있다.The combination of structures by applying the sealer can improve fuel efficiency due to weight reduction of the vehicle body, suppress metal deformation due to small impact, reduce noise generated inside the vehicle, and have advantages in appearance because bolts and welding are not used. There is also
또한, 서로 다른 이종 소재의 접합에 있어서도 원하는 부위에 접착제를 사용하여 고정함으로써 쉽게 붙일 수 있는 효과가 있다.In addition, even in the bonding of different materials, there is an effect that can be easily attached by fixing using an adhesive to a desired part.
다시 도 1 내지 도 2를 참조하면, 상기 퓨전비전검사용 카메라(200)는, 상기 대상 위치의 실러 도포 상태를 촬영할 수 있다.Referring back to FIGS. 1 and 2 , the
이하에서는, 도 7 내지 도 8을 참조하여, 상기 퓨전비전검사용 카메라(200)에 대하여 더욱 자세히 설명하기로 한다.Hereinafter, the fusion
도 7은 본 발명의 일 실시례에 따른 도포된 자동차 실러 검사용 퓨전비전검사시스템(10)의 퓨전비전검사용 카메라(200)를 도시한 블록도이고, 도 8은 본 발명의 일 실시례에 따른 도포된 자동차 실러 검사용 퓨전비전검사시스템(10)을 도시한 예상도이다.7 is a block diagram showing a fusion
도 7을 참조하면, 상기 퓨전비전검사용 카메라(200)는, 제1 촬영부(210)와 제2 촬영부(220)로 구성될 수 있다.Referring to FIG. 7 , the fusion
상기 제1 촬영부(210)는 조명장치에 의해 방출된 빛의 반사광을 수신하여 상기 대상 위치에 도포된 실러의 이미지를 추출하는 비전 카메라 모듈이 구비될 수 있다.The first photographing
상기 제2 촬영부(220)는 상기 대상 위치에 도포된 실러 영역과 주변 영역의 온도차를 센싱하여 이미지를 추출하는 열화상 카메라 모듈이 구비될 수 있다.The second photographing
상기 열화상 카메라 모듈에 구비된 열화상 카메라는 물체에서 방출하는 열복사를 감지하여 다양한 색깔로 시각화하여 보여주는 카메라이며, 카메라에서 적회선 파장을 발산하여 측정하거나 달빛을 증폭하여 사용하는 방식의 Night Vision 카메라와 적외선을 방사하지 않고 물체의 온도에 따른 해당 파장의 빛을 방출하는 방식의 열화상 카메라로 구분될 수 있다.The thermal imaging camera provided in the thermal imaging camera module is a camera that detects thermal radiation emitted from an object and visualizes it in various colors. It can be divided into a thermal imaging camera that does not emit infrared rays and emits light of a corresponding wavelength according to the temperature of an object.
도 8을 참조하면, 상기 비전 카메라 모듈과 상기 열화상 카메라 모듈은 자동차의 차체 또는 부품을 비롯한 대상 위치에 도포된 실러를 인식하고 촬영 영역을 감지할 수 있다.Referring to FIG. 8 , the vision camera module and the thermal imaging camera module may recognize a sealer applied to a target location including a vehicle body or parts and detect a photographing area.
도 9는 본 발명의 일 실시례에 따른 도포된 자동차 실러 검사용 퓨전비전검사시스템(100)의 비전 카메라 모듈의 시간대별 실러 이미지의 외부 조명 영향을 도시한 실시례이다.FIG. 9 is an example illustrating the effect of external light on the sealer image for each time period of the vision camera module of the fusion
도 9를 참조하면, 오전 3시와 오후 3시에 각각 촬영된 상기 비전 카메라의 이미지의 밝기 값에 따른 표준편차를 비교하여 동일 대상 위치임에도 인식된 상태가 다를 수 있음을 확인할 수 있다.Referring to FIG. 9 , by comparing standard deviations according to brightness values of images of the vision camera captured at 3:00 AM and 3:00 PM, it can be confirmed that the recognized state may be different even though the target location is the same.
즉, 상기 비전 카메라 모듈이 구비된 실러 도포 검사용 비전검사시스템(100)에서는 외부의 다양한 조명에 의한 영향을 받을 수 있다.That is, the
일반적으로, 비전 불량 검사는 외부의 다양한 조명 영향을 차단하는 실딩 구조 내에서 일정한 조명환경을 유지한 후 시료의 불량을 검사한다.In general, in the vision defect inspection, a sample is inspected for defects after maintaining a constant lighting environment within a shielding structure that blocks various external lighting influences.
비전검사시스템만을 이용하는 대부분의 제조현장에서는 일정한 조명환경을 구축하는 것에 대한 높은 비용과 시간 투자를 못하였으나, 본 발명에 의한 퓨전비전검사시스템은 다양한 가변적인 외부 조명환경에서도 응용 가능한 비전 검사 알고리즘을 통해 정확도 높은 결과를 도출할 수 있다.Most of the manufacturing sites using only the vision inspection system did not have high cost and time investment for establishing a constant lighting environment, but the fusion vision inspection system according to the present invention is a vision inspection algorithm that can be applied in various variable external lighting environments. Highly accurate results can be obtained.
본 발명에 의한 상기 퓨전비전검사용 카메라(200)는, 이하에서 설명할 상기 이미지 처리부(300)와 연관되어 동작함으로써, 상기 제1 촬영부(210)에 마련된 상기 비전 카메라의 한계점을 개선할 수 있다.The fusion
도 10은 본 발명의 일 실시례에 따른 도포된 자동차 실러 검사용 퓨전비전검사시스템(10)의 열화상 카메라 모듈의 도포된 실러의 열화상 이미지를 도시한 실시례이고, 도 11은 본 발명의 일 실시례에 따른 도포된 자동차 실러 검사용 퓨전비전검사시스템(10)의 열화상 카메라에서 추출된 불량 도포 상태를 도시한 실시례이다.10 is an embodiment showing a thermal image of the applied sealer of the thermal imaging camera module of the fusion
도 10을 참조하면, 상기 제2 촬영부(220)에 마련된 상기 열화상 카메라는 실러가 정상적으로 도포된 좌측이미지와 실러가 불량 도포된 결함 검출 이미지 중 적어도 어느 하나의 이미지를 추출할 수 있다.Referring to FIG. 10 , the thermal imaging camera provided in the
도 11을 참조하면, 실제로 대상 위치에 실러가 도포된 상태를 촬영한 상기 열화상 카메라를 통해 추출된 이미지가 불량인 상태의 다수의 실시례를 확인할 수 있다.Referring to FIG. 11 , it can be seen in a number of examples of a state in which an image extracted through the thermal imaging camera that captures a state in which sealer is actually applied to a target location is defective.
실러와 자동차 부품에는 온도의 차이가 존재하며, 이는 실러의 압출을 원활하게 하기 위하여 주로 30도 정도의 온도를 유지할 수 있다.There is a difference in temperature between the sealer and automobile parts, and it is possible to maintain a temperature of about 30 degrees in order to smoothly extrude the sealer.
여름의 경우 프레임의 온도와 실러의 온도 차가 줄어들 수 밖에 없으며, 이로 인해 열화상 카메라의 이미지 예시를 검출 시 어려움이 발생할 수 있다.In summer, the difference between the temperature of the frame and the temperature of the sealer inevitably decreases, which may cause difficulties in detecting the image sample of the thermal imaging camera.
상기 열화상 카메라로 촬영된 이미지는 자동차 부품과 실러의 경계의 분리가 어려울 수 있다.In the image captured by the thermal imaging camera, it may be difficult to separate the boundary between the automotive part and the sealer.
그러나 본 발명에 의한, 상기 퓨전비전검사용 카메라(200)는, 상기 제2 촬영부(220)에 마련된 상기 열화상 카메라에 상기 비전카메라가 이하에서 설명할 상기 이미지 처리부(300)의 기지정된 알고리즘을 통해 이미지 정확도를 개선할 수 있다.However, in the fusion
다시 도 1 내지 도2를 참조하면, 상기 이미지 처리부(300)는, 상기 퓨전비전검사용 카메라(200)에서 추출된 이미지를 기설정된 파일 양식으로 전환하고, 기지정된 머신러닝 알고리즘에 기초하여 상기 대상 위치의 실러 도포 품질을 분석할 수 있다.Referring back to FIGS. 1 and 2 , the
그리고 상기 제어부(400)는, 상기 이미지 처리부(300)에서 분석된 상기 실러 도포 품질에 따라 상기 실러 도포부(100)의 재도포 여부를 제어할 수 있다.The
이하, 도 12에서 상기 이미지 처리부(300)와 상기 이미지 처리부(300)의 분석 결과에 기초하여 제어하는 상기 제어부(400)에 대하여 더욱 자세히 설명하기로 한다. Hereinafter, the
도 12는 본 발명의 일 실시례에 따른 도포된 자동차 실러 검사용 퓨전비전검사시스템(10)의 영상 수치화 과정을 도시한 실시례이다.FIG. 12 is an embodiment illustrating a process of digitizing an image of the fusion
도 12를 참조하면, 상기 이미지 처리부(300)는 상기 퓨전비전검사용 카메라(200)에서 추출된 이미지를 기설정된 파일 양식으로 전환하고, 기지정된 머신러닝 알고리즘에 기초하여 상기 대상 위치의 실러 도포 품질을 분석할 수 있다.Referring to FIG. 12, the
상기 이미지 처리부(300)는, 상기 제1 촬영부(210)에서 촬영된 이미지와 제2 촬영부(220)에서 촬영된 각각의 이미지를 추출하여 픽셀단위의 이미지 형식으로 전환할 수 있다.The
그리고, 관제 서버에서 상기 픽셀단위의 이미지를 SVM방식의 머신러닝 알고리즘에 기초하여 이미지를 실시간으로 처리하여, 도포 상태를 판단할 수 있다.In addition, the control server may process the image in real time based on the machine learning algorithm of the SVM method for the pixel unit image, and determine the application state.
상기 제1 촬영부(210)에서 촬영된 이미지와 제2 촬영부(220)에서 촬영된 각각의 이미지는 항상 동일한 영역을 촬영하므로 정상 이미지에서 센터 라인과 픽셀 간격을 통하여 센터 라인에서 정상 이미지의 픽셀 수를 계산 할 수 있다.Since the image captured by the
상기 제1 촬영부(210)에서 촬영된 이미지와 제2 촬영부(220)에서 촬영된 이미지의 조합과 기 계산된 정상 이미지의 픽셀정보를 이용하여 이미지를 복원할 수 있다.An image may be restored using a combination of an image captured by the
상기 제어부(400)는, 실러 도포가 불량인 경우 상기 제1 촬영부(210)에서 촬영된 이미지와 제2 촬영부(220)에서 촬영된 이미지를 조합하여 복원된 이미지는 도 12와 같이 실러가 미도포된 상태로 복원되며, 재도포 과정을 거쳐 정상 도포 상태로 인식될 수 있다. The
도 13은 본 발명의 일 실시례에 따른 도포된 자동차 실러 검사용 퓨전비전검사시스템(10)을 활용한 도포된 실러의 정상/불량 판단과정을 도시한 순서도이다.FIG. 13 is a flowchart illustrating a process of determining normal/defectiveness of applied sealer using the fusion
도 13을 참조하면, 상기 SVM 머신러닝 알고리즘을 기반으로 이미지를 실시간으로 처리하는 퓨전비전검사시스템은, 하기의 단계를 포함할 수 있다.Referring to FIG. 13 , the fusion vision inspection system for processing images in real time based on the SVM machine learning algorithm may include the following steps.
제 1단계에서는, 제1 촬영부(210)에서 촬영된 실러 도포 이미지를 추출할 수 있다.In the first step, a sealer applied image captured by the first photographing
제2 단계는, 제2 촬영부(210)에서 촬영된 실러 도포 이미지를 추출할 수 있다.In the second step, a sealer applied image captured by the second photographing
제3 단계는, 추출된 각각의 실러 도포 이미지를 겹쳐 하나의 이미지로 생성할 수 있다.In the third step, each of the extracted sealer applied images may be overlapped to create a single image.
제4 단계는, 상기 이미지를 정상 도포 상태의 이미지 센터 라인을 기준으로 기설정된 도포 폭에 대한 픽셀 수를 계산하여 복원할 수 있다.In the fourth step, the image may be restored by calculating the number of pixels for a preset coverage width based on an image center line in a normal coverage state.
제5 단계는, 상기 실러 도포가 정상인 경우, 실러 도포 대상물을 교체하는 신호를 생성할 수 있다.In the fifth step, when the sealer application is normal, a signal for replacing the object to which the sealer is applied may be generated.
제6 단계는, 상기 실러 도포가 불량인 경우, 복원된 이미지는 미도포된 상태로 복원되며, 미도포된 상기 대상 위치에 실러 재도포 신호를 생성할 수 있다.In the sixth step, if the application of the sealer is defective, the restored image may be restored to an unapplied state, and a sealer re-application signal may be generated at the unapplied target location.
도 14는 본 발명의 일 실시례에 따른 도포된 자동차 실러 검사용 퓨전비전검사시스템(10)의 SVM 머신러닝 알고리즘을 이용한 불량 검출 과정을 도시한 순서도이다.14 is a flowchart illustrating a defect detection process using the SVM machine learning algorithm of the fusion
도 14를 참조하면, 상기 SVM 머신러닝 알고리즘을 기반으로 하는 퓨전비전검사시스템의 불량 검출 과정은 실러 이미지 정보 입력, 검사 영역 검출, 도포된 실러 픽셀 위치 정보 추출, SVM 학습, SVM 테스트, 사용자 확인, 불량 검출 순이다.Referring to FIG. 14, the defect detection process of the fusion vision inspection system based on the SVM machine learning algorithm includes inputting sealer image information, detecting inspection area, extracting applied sealer pixel location information, SVM learning, SVM testing, user confirmation, in the order of defect detection.
상기 SVM 머신러닝 알고리즘을 기반으로 하는 퓨전비전검사시스템은, 상기 제4 단계에서 실러 도포 영역을 검출하기 위해 하기 [수학식 1]을 통해 정상 실러 도포 데이터에서 실러 도포 후의 데이터의 차를 구하여 실러가 도포된 영역을 계산할 수 있다.The fusion vision inspection system based on the SVM machine learning algorithm calculates the difference between normal sealer application data and data after sealer application through the following [Equation 1] to detect the sealer application area in the fourth step, The covered area can be calculated.
[수학식 1][Equation 1]
(여기서, A는 정상 실러 도포 데이터, B는 실러 도포 후의 데이터 및 R은 실러가 도포된 영역을 의미함)(Here, A is normal sealer application data, B is data after sealer application, and R is the area where the sealer is applied)
또한, 상기 실러 도포 영역에서 실제 실러가 도포된 픽셀의 위치를 계산하고, 하기 [수학식 2]를 통해 상기 SVM 머신러닝 알고리즘 방식을 이용하여 실러의 불량 도포 검사를 최적화하는 비용함수를 산출할 수 있다.In addition, it is possible to calculate the position of a pixel where the sealer is actually applied in the sealer application area and calculate a cost function for optimizing the sealer defect application inspection using the SVM machine learning algorithm method through the following [Equation 2]. there is.
[수학식 2][Equation 2]
(여기서, 
이를 통해, 본 발명에 의한 도포된 자동차 실러 검사용 퓨전비전검사시스템(10)은 비전 카메라와 열화상 카메라의 장점을 극대화시킨 퓨전 비전검사시스템을 통해 도포된 실러의 불량 검출 정확도를 향상시킬 수 있다.Through this, the fusion
또한, 퓨전 비전검사시스템을 이용하여 도포된 실러를 촬영하고 수집된 결과를 영상처리를 통해 결함의 특징을 수치화할 수 있고, 수치화된 결함의 특징을 SVM 머신러닝 알고리즘을 활용 및 학습하여 실러 도포의 결함을 자동으로 검출할 수 있다.In addition, the applied sealer can be photographed using the fusion vision inspection system, and the characteristics of the defect can be quantified through image processing of the collected results, and the characteristics of the digitized defect can be utilized and learned using the SVM machine learning algorithm to improve the application of the sealer. Defects can be detected automatically.
그리고 SVM 머신러닝 알고리즘으로 도출된 도포 결함 정보를 활용하여 재도포 구간을 계산하고, 불량구간에 자동으로 재도포 할 수 있다.In addition, the application defect information derived by the SVM machine learning algorithm can be used to calculate the re-application section and automatically re-apply in the defective section.
상기에서는 본 발명에 따른 실시예를 기준으로 본 발명의 구성과 특징을 설명하였으나 본 발명은 이에 한정되지 않으며, 본 발명의 사상과 범위 내에서 다양하게 변경 또는 변형할 수 있음은 본 발명이 속하는 기술분야의 당업자에게 명백한 것이며, 따라서 이와 같은 변경 또는 변형은 첨부된 특허청구범위에 속함을 밝혀둔다.In the above, the configuration and characteristics of the present invention have been described based on the embodiments according to the present invention, but the present invention is not limited thereto, and various changes or modifications can be made within the spirit and scope of the present invention. It is apparent to those skilled in the art, and therefore such changes or modifications are intended to fall within the scope of the appended claims.
10 : 도포된 자동차 실러 검사용 퓨전비전검사시스템
100 : 실러 도포부 110 : 실러 용기
120 : 로봇 암
130 : 도포 건
200 : 퓨전비전검사용 카메라 210 : 제1 촬영부
220 : 제2 촬영부
300 : 이미지 처리부
400 : 제어부10: Fusion vision inspection system for inspecting applied automotive sealer
100: sealer application unit 110: sealer container
120: robot arm
130: application gun
200: camera for fusion vision inspection 210: first shooting unit
220: second shooting unit
300: image processing unit
400: control unit
Claims (5)
상기 대상 위치의 실러 도포 상태를 촬영하는 퓨전비전검사용 카메라;
상기 퓨전비전검사용 카메라에서 추출된 이미지를 기설정된 파일 양식으로 전환하고, 기지정된 머신러닝 알고리즘에 기초하여 상기 대상 위치의 실러 도포 품질을 분석하는 이미지 처리부; 및
상기 이미지 처리부에서 분석된 상기 실러 도포 품질에 따라 상기 실러 도포부의 재도포 여부를 제어하는 제어부;를 포함하고,
상기 실러 도포부는,
실러를 기지정된 온도로 유지하는 온열발생장치와 온도센서가 마련된 실러 용기;
상기 실러 용기에서 실러를 공급받고, 상기 대상 위치에 대응하는 기설정된 도포패턴에 따라 이동하는 로봇 암; 및
상기 로봇 암의 하단에 구비되어 상기 대상 위치에 실러를 공기압 방식으로 도포하며, BLDC 모터와 실러 토출 펌프로 구성되는 도포 건;으로 구성되고,
상기 실러 용기는,
실러의 보충여부를 센싱하는 근접센서가 부착되고,
점도가 강한 실러의 압출을 용이하게 하기 위하여 에어를 인가할 수 있는 에어라인을 마련하여 공기압으로 실러 분사량을 제어하도록 구성되며,
상기 퓨전비전검사용 카메라는,
조명장치에 의해 방출된 빛의 반사광을 수신하여 상기 대상 위치에 도포된 실러의 이미지를 추출하는 비전 카메라 모듈이 구비된 제1 촬영부;
상기 대상 위치에 도포된 실러 영역과 주변 영역의 온도차를 센싱하여 이미지를 추출하는 열화상 카메라 모듈이 구비된 제2 촬영부;로 구성되고,
상기 이미지 처리부는,
상기 제1 촬영부에서 촬영된 이미지와 제2 촬영부에서 촬영된 각각의 이미지를 추출하여 픽셀단위의 이미지 형식으로 전환하고,
관제 서버에서 상기 픽셀단위의 이미지를 SVM방식의 머신러닝 알고리즘에 기초하여 이미지를 실시간으로 처리하여, 도포 상태를 판단하며,
상기 SVM 머신러닝 알고리즘을 기반으로 이미지를 실시간으로 처리하는 퓨전비전검사시스템은,
제1 촬영부에서 촬영된 실러 도포 이미지를 추출하고,
제2 촬영부에서 촬영된 실러 도포 이미지를 추출하며,
추출된 각각의 실러 도포 이미지를 겹쳐 하나의 이미지로 생성하고,
상기 이미지를 정상 도포 상태의 이미지 센터 라인을 기준으로 기설정된 도포 폭에 대한 픽셀 수를 계산하여 복원하며,
상기 실러 도포가 정상인 경우, 실러 도포 대상물을 교체하는 신호를 생성하고,
상기 실러 도포가 불량인 경우, 복원된 이미지는 미도포된 상태로 복원되며, 미도포된 상기 대상 위치에 실러 재도포 신호를 생성하며,
상기 SVM 머신러닝 알고리즘을 기반으로 하는 퓨전비전검사시스템은,
상기 실러가 도포된 영역을 검출하기 위해 하기 [수학식 1]을 통해 정상 실러 도포 데이터에서 실러 도포 후의 데이터의 차를 구하여 실러가 도포된 영역을 계산하고,
상기 실러 도포 영역에서 실제 실러가 도포된 픽셀의 위치를 계산하며, 하기 [수학식 2]를 통해 상기 SVM 머신러닝 알고리즘 방식을 이용하여 실러의 불량 도포 검사를 최적화하는 비용함수를 산출하며, 하기 [수학식 3]에 의해 산출되는 상기 온도센서의 평균오차(Aerr)가 기설정된 한계오차(Serr)보다 큰 경우, 상기 온도센서가 고장난 것으로 판단하는 센서 모니터링부를 더 포함하는 것을 특징으로 하는 도포된 자동차 실러 검사용 퓨전비전검사시스템.
[수학식 1]
(여기서, A는 정상 실러 도포 데이터, B는 실러 도포 후의 데이터 및 R은 실러가 도포된 영역을 의미함)
[수학식 2]
(여기서,
[수학식 3]
(여기서, Aerr은 평균오차, Taver는 상기 온도센서 센서값의 전체평균, Paver는 상기 온도센서 센서값 n개에 대한 일부평균, Tσ는 상기 온도센서 센서값의 전체표준편차를 의미함)a sealer applicator that sprays a predetermined amount of sealer to a target location of the vehicle;
a camera for fusion vision inspection to photograph the sealer application state at the target location;
an image processor converting the image extracted from the fusion vision inspection camera into a preset file format and analyzing the sealer application quality of the target location based on a preset machine learning algorithm; and
A control unit controlling whether to re-apply the sealer application unit according to the sealer application quality analyzed by the image processing unit;
The sealer application unit,
A sealer container equipped with a heat generator and a temperature sensor for maintaining the sealer at a predetermined temperature;
a robot arm that receives sealer from the sealer container and moves according to a preset application pattern corresponding to the target position; and
An application gun provided at the lower end of the robot arm to apply the sealer to the target position using a pneumatic method and composed of a BLDC motor and a sealer discharge pump;
The sealer container,
A proximity sensor is attached to sense whether the sealer is replenished,
In order to facilitate the extrusion of a sealer having a high viscosity, an air line capable of applying air is provided to control the amount of sealer injection with air pressure,
The fusion vision inspection camera,
a first photographing unit equipped with a vision camera module that receives the reflected light emitted by the lighting device and extracts an image of the sealer applied to the target location;
A second photographing unit equipped with a thermal imaging camera module for extracting an image by sensing a temperature difference between the sealer area applied to the target location and the surrounding area;
The image processing unit,
Extracting the images captured by the first and second capture units and converting them into pixel unit image formats;
In the control server, the pixel unit image is processed in real time based on the machine learning algorithm of the SVM method to determine the application state,
The fusion vision inspection system for processing images in real time based on the SVM machine learning algorithm,
Extracting the sealer application image captured by the first photographing unit,
Extracting the sealer application image taken by the second photographing unit,
Each extracted sealer application image is overlapped to create one image,
Restoring the image by calculating the number of pixels for a preset coverage width based on the image center line in a normal coverage state;
When the sealer application is normal, a signal for replacing the sealer application object is generated;
If the sealer application is defective, the restored image is restored to an unapplied state, and a sealer re-application signal is generated at the unapplied target location;
The fusion vision inspection system based on the SVM machine learning algorithm,
In order to detect the area where the sealer is applied, the difference between the normal sealer application data and the data after sealer application is calculated through [Equation 1] below to calculate the area where the sealer is applied,
The position of the pixel where the sealer is actually applied in the sealer application area is calculated, and a cost function for optimizing the inspection of defective sealer application is calculated using the SVM machine learning algorithm through the following [Equation 2], and the following [ When the average error (A err ) of the temperature sensor calculated by Equation 3 is greater than the preset limit error (S err ), the sensor monitoring unit for determining that the temperature sensor is out of order Application characterized in that it further comprises Fusion Vision Inspection System for automotive sealer inspection.
[Equation 1]
(Here, A is normal sealer application data, B is data after sealer application, and R is the area where the sealer is applied)
[Equation 2]
(here,
[Equation 3]
(Here, A err is the average error, T aver is the overall average of the temperature sensor sensor values, P aver is a partial average of n temperature sensor sensor values, T σ means the total standard deviation of the temperature sensor sensor values box)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220108976A KR102523195B1 (en) | 2022-08-30 | 2022-08-30 | Fusion vision inspection system for applied automobile sealer inspection |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220108976A KR102523195B1 (en) | 2022-08-30 | 2022-08-30 | Fusion vision inspection system for applied automobile sealer inspection |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102523195B1 true KR102523195B1 (en) | 2023-04-18 |
Family
ID=86100848
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020220108976A KR102523195B1 (en) | 2022-08-30 | 2022-08-30 | Fusion vision inspection system for applied automobile sealer inspection |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102523195B1 (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117339842A (en) * | 2023-12-05 | 2024-01-05 | 宁德时代新能源科技股份有限公司 | Pole piece coating deviation rectifying method and system |
| CN117723564A (en) * | 2024-02-18 | 2024-03-19 | 青岛华康塑料包装有限公司 | Packaging bag printing quality detection method and system based on image transmission |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101688458B1 (en) * | 2016-04-27 | 2016-12-23 | 디아이티 주식회사 | Image inspection apparatus for manufactured articles using deep neural network training method and image inspection method of manufactured articles thereby |
| JP2017167599A (en) * | 2016-03-14 | 2017-09-21 | 日本電気株式会社 | Fault diagnosis apparatus, fault diagnosis system, fault diagnosis method, and program |
| KR102139221B1 (en) * | 2019-06-18 | 2020-07-29 | 아진산업(주) | System for inspection quality of sealer |
| KR102188472B1 (en) * | 2018-10-10 | 2020-12-08 | (주)대명티에스 | Sealer application system and sealer application method using the same |
| KR102264066B1 (en) * | 2021-03-17 | 2021-06-14 | 신봉근 | System of smart controller for Injection molding machine by image analysis with AI and operating method thereof |
-
2022
- 2022-08-30 KR KR1020220108976A patent/KR102523195B1/en active IP Right Grant
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2017167599A (en) * | 2016-03-14 | 2017-09-21 | 日本電気株式会社 | Fault diagnosis apparatus, fault diagnosis system, fault diagnosis method, and program |
| KR101688458B1 (en) * | 2016-04-27 | 2016-12-23 | 디아이티 주식회사 | Image inspection apparatus for manufactured articles using deep neural network training method and image inspection method of manufactured articles thereby |
| KR102188472B1 (en) * | 2018-10-10 | 2020-12-08 | (주)대명티에스 | Sealer application system and sealer application method using the same |
| KR102139221B1 (en) * | 2019-06-18 | 2020-07-29 | 아진산업(주) | System for inspection quality of sealer |
| KR102264066B1 (en) * | 2021-03-17 | 2021-06-14 | 신봉근 | System of smart controller for Injection molding machine by image analysis with AI and operating method thereof |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117339842A (en) * | 2023-12-05 | 2024-01-05 | 宁德时代新能源科技股份有限公司 | Pole piece coating deviation rectifying method and system |
| CN117339842B (en) * | 2023-12-05 | 2024-04-19 | 宁德时代新能源科技股份有限公司 | Pole piece coating deviation rectifying method and system |
| CN117723564A (en) * | 2024-02-18 | 2024-03-19 | 青岛华康塑料包装有限公司 | Packaging bag printing quality detection method and system based on image transmission |
| CN117723564B (en) * | 2024-02-18 | 2024-04-26 | 青岛华康塑料包装有限公司 | Packaging bag printing quality detection method and system based on image transmission |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102523195B1 (en) | Fusion vision inspection system for applied automobile sealer inspection | |
| US7495758B2 (en) | Apparatus and methods for two-dimensional and three-dimensional inspection of a workpiece | |
| US20130057678A1 (en) | Inspection system and method of defect detection on specular surfaces | |
| US7193696B2 (en) | Systems and methods for using light to indicate defect locations on a composite structure | |
| US20070009149A1 (en) | Method and device for the contactless optical determination of the 3D position of an object | |
| JP4862765B2 (en) | Surface inspection apparatus and surface inspection method | |
| US5566244A (en) | Method of inspecting a workpiece surface including a picturing system with a shortened focal plane | |
| CN114720475A (en) | Intelligent detection and polishing system and method for automobile body paint surface defects | |
| CN109127194A (en) | Automobile gluing vision follows detection method | |
| JP5689969B2 (en) | Bead filler inspection apparatus, bead filler inspection program, and bead filler inspection method | |
| CN102455171A (en) | Method for detecting geometric shape of back of tailor-welding weld and implementing device thereof | |
| CN113504239B (en) | Quality control data analysis method | |
| CN111837026B (en) | System and method for monitoring manufacturing accuracy in additive manufacturing of three-dimensional parts | |
| KR101659890B1 (en) | Vision system for mastic sealing and vision inspection method for mastic sealer | |
| Hua et al. | Defect detection method using laser vision with model-based segmentation for laser brazing welds on car body surface | |
| Bogue | Robotic vision boosts automotive industry quality and productivity | |
| CN113514471A (en) | Gluing effect image detection method | |
| CN116075855A (en) | Robot repair control system and method | |
| CN113376707B (en) | Visual detection system and method for vehicle frame | |
| WO2023209717A1 (en) | Monitoring a mechanism or a component thereof | |
| US20210304382A1 (en) | Image-based jig inspection system and method | |
| CN115705645A (en) | Method and apparatus for determining defect size during surface modification process | |
| JP4117790B2 (en) | Application state inspection device | |
| CN112444283B (en) | Vehicle assembly detection device and vehicle assembly production system | |
| CN109959354B (en) | Large-scale road surface flatness measuring device and measuring method thereof |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |