KR102043316B1 - Apparatus for weld bead recognition of 2d image-based and soot removal method using the same - Google Patents
Apparatus for weld bead recognition of 2d image-based and soot removal method using the same Download PDFInfo
- Publication number
- KR102043316B1 KR102043316B1 KR1020180043478A KR20180043478A KR102043316B1 KR 102043316 B1 KR102043316 B1 KR 102043316B1 KR 1020180043478 A KR1020180043478 A KR 1020180043478A KR 20180043478 A KR20180043478 A KR 20180043478A KR 102043316 B1 KR102043316 B1 KR 102043316B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- weld bead
- bead
- weld
- soot
- Prior art date
Links
- 239000011324 bead Substances 0.000 title claims abstract description 162
- 239000004071 soot Substances 0.000 title claims abstract description 56
- 238000000034 method Methods 0.000 title claims abstract description 36
- 238000003466 welding Methods 0.000 claims abstract description 69
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 18
- 238000007781 pre-processing Methods 0.000 claims abstract description 7
- 230000003044 adaptive effect Effects 0.000 claims description 14
- 238000012360 testing method Methods 0.000 claims description 10
- 230000007613 environmental effect Effects 0.000 claims description 9
- 230000002159 abnormal effect Effects 0.000 claims description 7
- 238000012937 correction Methods 0.000 claims description 5
- 230000000873 masking effect Effects 0.000 claims description 2
- 238000007689 inspection Methods 0.000 abstract description 15
- 239000000463 material Substances 0.000 abstract description 6
- 238000001514 detection method Methods 0.000 abstract description 4
- 230000007547 defect Effects 0.000 abstract description 3
- 238000005286 illumination Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000003708 edge detection Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000011179 visual inspection Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 230000001066 destructive effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000003908 quality control method Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/155—Segmentation; Edge detection involving morphological operators
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
- B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
- B23K37/00—Auxiliary devices or processes, not specially adapted to a procedure covered by only one of the preceding main groups
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/001—Image restoration
- G06T5/002—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/001—Image restoration
- G06T5/003—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/007—Dynamic range modification
-
- G06T5/70—
-
- G06T5/73—
-
- G06T5/90—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20036—Morphological image processing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Optics & Photonics (AREA)
- Mechanical Engineering (AREA)
- Image Analysis (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Image Processing (AREA)
Abstract
본 발명은 2D 영상 기반의 용접 비드 인식 장치 및 그것을 이용한 그을음 제거 방법에 대한 것이다.
본 발명에 따른 용접 비드 인식 장치는 비전 카메라로부터 촬영된 검사 대상 시료의 2D 영상을 입력받는 영상 입력부와, 입력받은 영상의 관심 영역을 설정하고, 설정된 관심 영역을 전처리하는 전처리부와, 전처리된 관심 영역에서 검사 대상 시료의 용접 비드 영역을 검출하는 영역 검출부와, 검출된 용접 비드 영역의 색좌표를 변환시켜 용접 그을음 부분을 제거하고, 용접 그을음 부분이 제거된 용접 비드 영역과 나머지 배경 영역을 이진화 처리한 이진화 영상을 획득하는 영상 획득부와, 모폴로지(Morphology) 알고리즘을 이용하여 획득된 이진화 영상으로부터 용접 비드를 인식하는 용접 비드 인식부 및 인식된 용접 비드의 특징 정보를 검출하고, 검출된 특징 정보로부터 용접 비드의 형태 이상 여부를 판단하는 판단부를 포함한다.
이와 같이 본 발명에 따르면, 비전 카메라로부터 촬영된 2D 영상에서 용접 시 높은 열에 의해 용접팁과 모재 사이에 발생하는 그을음을 제거함으로써 용접 비드의 인식 성능을 향상시킬 수 있어 불량 검사 판별 시 오차율을 저감시킬 수 있다.The present invention relates to a 2D image-based welding bead recognition device and a soot removing method using the same.
The welding bead recognition device according to the present invention includes an image input unit for receiving a 2D image of an inspection target sample photographed from a vision camera, a preprocessing unit for setting an ROI of the received image, and preprocessing the set ROI, and a preprocessed ROI. An area detection unit for detecting the weld bead area of the sample to be inspected in the area, and removing the weld soot by converting the color coordinates of the detected weld bead area, and binarizing the weld bead area from which the weld soot is removed and the remaining background area. An image acquisition unit for obtaining a binarized image, a weld bead recognition unit for recognizing a weld bead, and feature information of the recognized weld bead are detected from the binarized image obtained by using a morphology algorithm. It includes a determination unit for determining whether or not the shape of the bead.
As described above, according to the present invention, it is possible to improve the recognition performance of the weld bead by removing the soot generated between the welding tip and the base material due to the high heat during welding in the 2D image photographed from the vision camera, thereby reducing the error rate when determining the defect inspection. Can be.
Description
본 발명은 2D 영상 기반의 용접 비드 인식 장치 및 그것을 이용한 그을음 제거 방법에 관한 것으로서, 더욱 상세하게는 2D 영상에서 비드 주변 그을음을 제거하여 용접 비드의 상태를 정확하게 인식할 수 있는 2D 영상 기반의 용접 비드 인식 장치 및 그것을 이용한 그을음 제거 방법에 관한 것이다.The present invention relates to a 2D image-based welding bead recognition device and a soot removal method using the same, and more particularly, 2D image-based welding bead that can accurately recognize the state of the weld bead by removing the soot surrounding the bead in the 2D image A recognition apparatus and a soot removing method using the same.
자동차 제조 업체에서는 자동차를 생산하기까지 모든 양산공정 내에서 수만 여 개의 부품을 수많은 용접 및 조립공정으로 조립한다. 이때 용접 조립된 차체는 조립 품질의 향상을 위해 별도의 공정에서 용접부의 품질 검사가 이루어지고 있다.Automotive manufacturers assemble tens of thousands of parts in a number of welding and assembly processes in all production processes, until the car is produced. In this case, the welded body is inspected for quality of the welded part in a separate process to improve assembly quality.
최근 들어서는 용접 품질의 향상에 대한 요구가 증가하고 있으나, 용접부 모니터링에 의한 품질 관리는 용접 후의 품질에 대해 보증하기 어려운 한계가 있기 때문에, 보통 차체의 용접 후에 품질 검사가 이루어진다.In recent years, there is an increasing demand for improvement of welding quality. However, quality control by welding monitoring has a limit that is difficult to guarantee the quality after welding, so quality inspection is usually performed after welding of the vehicle body.
용접부의 품질 검사를 위해 샘플 검사가 이루어지며, 이때 샘플 검사는 비파괴검사가 대부분이고, 전수 검사는 육안을 통한 외관 검사를 통해 수행되고 있다. 그러나 육안을 통한 전수검사 시 용접 결함이 정확하게 검출되지 않는 단점이 있어 유명 자동차 부품 제조 업체들은 비전을 이용한 외관 검사 장비를 도입하여 검사하고 있으며, 2D 또는 3D 기반의 검사 시스템을 적용하고 있다. 현재 비전 인식시스템은 주로 2D 기반의 비전 장비가 많이 이용되고 있는 추세이다.Sample inspection is performed to check the quality of the weld, in which sample inspection is mostly non-destructive inspection, and full inspection is performed through visual inspection through the naked eye. However, there is a disadvantage that welding defects are not accurately detected during the visual inspection, and famous auto parts manufacturers are adopting vision inspection equipment using vision, and applying inspection systems based on 2D or 3D. Currently, the vision recognition system is mainly using a lot of 2D-based vision equipment.
비전 인식시스템은 주변 조도나 외부 간섭 등 외부적인 요인에 의하여 인식 오차가 발생할 수 있어 오차를 최소화하여 인식 성능을 높일 수 있도록 해야 한다. 또한 용접 시 높은 열에 의해 용접팁과 모재 사이에 그을음이 발생하게 되는데, 이러한 그을음에 의해 비드가 부정확하게 인식되는 문제점이 있다.In the vision recognition system, recognition errors may occur due to external factors such as ambient illuminance or external interference, so the recognition performance should be improved by minimizing the errors. In addition, the soot is generated between the welding tip and the base material by the high heat during welding, there is a problem that the beads are incorrectly recognized by the soot.
본 발명의 배경이 되는 기술은 대한민국 등록특허공보 제10-1427972호(2014. 08. 08. 공고)에 개시되어 있다.The background technology of the present invention is disclosed in Republic of Korea Patent Publication No. 10-1427972 (August 08, 2014).
본 발명이 이루고자 하는 기술적 과제는 2D 영상에서 비드 주변 그을음을 제거하여 용접 비드의 상태를 정확하게 인식할 수 있는 2D 영상 기반의 용접 비드 인식 장치 및 그것을 이용한 그을음 제거 방법을 제공하기 위한 것이다.SUMMARY OF THE INVENTION The present invention has been made in an effort to provide a 2D image-based welding bead recognition device capable of accurately recognizing a weld bead state by removing soot around a bead from a 2D image and a method of removing soot using the same.
이러한 기술적 과제를 이루기 위한 본 발명의 실시예에 따른 2D 영상 기반의 용접 비드 인식 장치는, 비전 카메라로부터 촬영된 검사 대상 시료의 2D 영상을 입력받는 영상 입력부; 상기 입력받은 영상의 관심 영역을 설정하고, 설정된 관심 영역을 전처리하는 전처리부; 상기 전처리된 관심 영역에서 상기 검사 대상 시료의 용접 비드 영역을 검출하는 영역 검출부; 상기 검출된 용접 비드 영역의 색좌표를 변환시켜 용접 그을음 부분을 제거하고, 상기 용접 그을음 부분이 제거된 용접 비드 영역과 나머지 배경 영역을 이진화 처리한 이진화 영상을 획득하는 영상 획득부; 모폴로지(Morphology) 알고리즘을 이용하여 상기 획득된 이진화 영상으로부터 용접 비드를 인식하는 용접 비드 인식부; 및 상기 인식된 용접 비드의 특징 정보를 검출하고, 검출된 특징 정보로부터 용접 비드의 형태 이상 여부를 판단하는 판단부를 포함한다.Welding bead recognition device based on the 2D image according to an embodiment of the present invention for achieving the technical problem, an image input unit for receiving a 2D image of the inspection target sample taken from the vision camera; A preprocessor configured to set a region of interest of the input image and preprocess the set region of interest; An area detector which detects a weld bead area of the test target sample in the preprocessed ROI; An image acquisition unit for converting color coordinates of the detected weld bead region to remove a weld soot and to obtain a binarized image obtained by binarizing the weld bead region from which the weld soot is removed and the remaining background region; A weld bead recognition unit recognizing a weld bead from the obtained binarization image using a morphology algorithm; And a determination unit detecting feature information of the recognized weld bead and determining whether or not the shape of the weld bead is abnormal from the detected feature information.
또한 상기 전처리부는 상기 관심 영역 내 외부 환경 요인을 제거하기 위한 명암을 조정하고, 가우시안 필터를 이용하여 명암이 조정된 영상의 배경 잡음을 제거하고, 샤프닝 필터를 이용하여 배경 잡음이 제거된 영상에서 윤곽선 성분을 증가시켜 용접 비드 영역의 윤곽선을 강조할 수 있다.In addition, the preprocessor adjusts the contrast to remove the external environmental factors in the region of interest, removes background noise of the contrast-adjusted image using a Gaussian filter, and outlines the image from which the background noise is removed using a sharpening filter. The component can be increased to emphasize the contour of the weld bead area.
또한 상기 외부 환경 요인은 주변 조명, 조도 및 외부 간섭 중 어느 하나 이상을 포함하고, 다음의 수학식과 같이 적응적 국부 감마 교정(adaptive local gamma correction) 알고리즘을 이용하여 연산되는 적응적 국부 감마 고정된 영상(OALGC(x,y))으로부터 상기 명암을 조정할 수 있다.In addition, the external environmental factors include any one or more of ambient lighting, illumination, and external interference, and adaptive local gamma fixed image computed using an adaptive local gamma correction algorithm, as shown in the following equation. The contrast can be adjusted from (O ALGC (x, y)).
여기서, NG는 출력 영상의 최대 명암도 값이고, D(x,y)는 원영상이며, σ(x,y)는 국부적 영역(local region)에 대한 분산값이다.Here, N G is the maximum intensity value of the output image, D (x, y) is the original image, and σ (x, y) is the variance value for the local region.
또한 상기 영상 획득부는 상기 검출된 용접 비드 영역의 RGB 색좌표를 CMYK 색좌표로 변환시켜, 상기 변환된 CMYK 색좌표 중 용접 비드 부분에 해당하는 C(Cyan)를 추출하여 상기 용접 그을음 부분을 제거할 수 있다.The image acquisition unit may remove the weld soot by extracting C (Cyan) corresponding to the weld bead from the converted CMYK color coordinates by converting the RGB color coordinates of the detected weld bead region.
또한 상기 영상 획득부는 상기 용접 그을음 부분이 제거된 영상을 마스킹하고, 상기 마스킹된 영상에서 국부적 평균값을 이용한 적응적 이진화를 수행하여 상기 이진화 영상을 획득할 수 있다.The image acquisition unit may mask the image from which the welding soot is removed, and perform the adaptive binarization using a local mean value from the masked image to obtain the binary image.
또한 상기 용접 비드의 특징 정보는 용접 비드의 시작점, 끝점, 호의 길이, 상기 호의 길이 방향을 따라 획득된 복수의 비드 폭에 대한 평균, 최대 및 최소 값 중 적어도 하나를 포함할 수 있다.The feature information of the weld bead may include at least one of a start point, an end point, a length of an arc, an average, a maximum value, and a minimum value of a plurality of bead widths obtained along the length direction of the arc.
또한 상기 판단부는 상기 용접 비드의 내/외부 윤곽선 중 외부 윤곽선 상의 복수의 점들을 각각 대상으로, 상기 검사 시료의 중심점과 상기 외부 윤곽선상의 점이 만나는 직선을 형성한 후 상기 직선과 내부 윤곽선 간 교차점과 상기 직선과 외부 윤곽선 간 교차점 사이의 거리를 구하는 것을 통해 상기 복수의 비드 폭을 각각 획득하여 검출된 상기 특징 정보로부터 용접 비드의 형태 이상 여부를 판단할 수 있다.In addition, the determination unit forms a straight line where the center point of the test sample and the point on the outer contour meets a plurality of points on the outer contour of the inner / outer contour of the weld bead respectively, and then the intersection point between the straight line and the inner contour and the By determining the distance between the intersection point between the straight line and the external contour, the plurality of bead widths may be obtained, respectively, to determine whether the shape of the weld bead is abnormal from the detected feature information.
또한 상기 판단 결과를 디스플레이 화면 또는 외부의 클라이언트로 제공하는 출력부를 더 포함할 수 있다.The apparatus may further include an output unit configured to provide the determination result to a display screen or an external client.
또한 본 발명의 실시예에 따른 용접 비드 인식 장치를 이용한 그을음 제거 방법은 비전 카메라로부터 촬영된 검사 대상 시료의 2D 영상을 입력받는 단계; 상기 입력받은 영상의 관심 영역을 설정하고 설정된 관심 영역을 전처리하는 단계; 상기 전처리된 관심 영역에서 상기 검사 대상 시료의 용접 비드 영역을 검출하는 단계; 상기 검출된 용접 비드 영역의 색좌표를 변환시켜 용접 그을음 부분을 제거하는 단계; 상기 용접 그을음 부분이 제거된 용접 비드 영역과 나머지 배경 영역을 이진화 처리한 이진화 영상을 획득하는 단계; 모폴로지(Morphology) 알고리즘을 이용하여 상기 획득된 이진화 영상으로부터 용접 비드를 인식하는 단계; 및 상기 인식된 용접 비드의 특징 정보를 검출하고, 검출된 특징 정보로부터 용접 비드의 형태 이상 여부를 판단하는 단계를 포함한다.In addition, the method for removing soot using a welding bead recognition apparatus according to an embodiment of the present invention comprises the steps of receiving a 2D image of the inspection target sample taken from the vision camera; Setting an ROI of the input image and preprocessing the ROI; Detecting a weld bead region of the sample to be tested in the pretreated region of interest; Removing the weld soot by converting color coordinates of the detected weld bead area; Acquiring a binarization image obtained by binarizing the weld bead region from which the weld soot portion is removed and the remaining background region; Recognizing a weld bead from the obtained binarized image using a morphology algorithm; And detecting feature information of the recognized weld bead, and determining whether the shape of the weld bead is abnormal from the detected feature information.
이와 같이 본 발명에 따르면, 비전 카메라로부터 촬영된 2D 영상에서 용접 시 높은 열에 의해 용접팁과 모재 사이에 발생하는 그을음을 제거함으로써 용접 비드의 인식 성능을 향상시킬 수 있어 불량 검사 판별 시 오차율을 저감시킬 수 있다.As described above, according to the present invention, it is possible to improve the recognition performance of the weld bead by removing the soot generated between the welding tip and the base material due to the high heat during welding in the 2D image photographed from the vision camera, thereby reducing the error rate when determining the defect inspection. Can be.
또한 본 발명에 따르면, 주변 조도나 외부 간섭 등 외부적인 요인에 의해 발생하는 비드 인식 오차를 최소화함으로써 인식 성능을 향상시킬 수 있는 효과가 있다.In addition, according to the present invention, there is an effect that can improve the recognition performance by minimizing the bead recognition error caused by external factors such as peripheral illumination or external interference.
또한 본 발명에 따르면, 현재 비전 인식 시스템에 주로 이용되고 있는 2D 영상을 기반으로 하여 사용 편의성을 향상시킬 수 있다.In addition, according to the present invention, it is possible to improve the ease of use based on the 2D image that is mainly used in the current vision recognition system.
도 1은 본 발명의 실시예에 따른 2D 영상 기반의 용접 비드 인식 시스템을 나타낸 블록구성도이다.
도 2는 본 발명의 실시예에 따른 2D 영상 기반의 용접 비드 인식 장치를 나타낸 블록구성도이다.
도 3은 본 발명의 실시예에 따른 2D 영상 기반의 용접 비드 인식 장치를 이용한 그을음 제거 방법의 동작 흐름을 도시한 순서도이다.
도 4는 본 발명의 실시예에 따른 2D 영상 기반의 용접 비드 인식 장치를 이용한 그을음 제거 방법을 설명하기 위한 각 단계별 영상 샘플이다.
도 5는 본 발명의 실시예에 따른 2D 영상 기반의 용접 비드 인식 장치를 이용한 그을음 제거 방법에서 용접 비드 폭을 설명하기 위한 도면이다.1 is a block diagram illustrating a welding bead recognition system based on 2D image according to an exemplary embodiment of the present invention.
2 is a block diagram illustrating a welding bead recognition device based on 2D image according to an exemplary embodiment of the present invention.
3 is a flowchart illustrating an operation flow of a soot removing method using a 2D image-based welding bead recognition device according to an embodiment of the present invention.
4 is an image sample for each step for explaining a soot removing method using a 2D image-based welding bead recognition apparatus according to an embodiment of the present invention.
5 is a view for explaining a weld bead width in the soot removal method using a 2D image-based welding bead recognition device according to an embodiment of the present invention.
이하 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설명하기로 한다. 이 과정에서 도면에 도시된 선들의 두께나 구성요소의 크기 등은 설명의 명료성과 편의상 과장되게 도시되어 있을 수 있다. Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings. In this process, the thickness of the lines or the size of the components shown in the drawings may be exaggerated for clarity and convenience of description.
또한 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서, 이는 사용자, 운용자의 의도 또는 관례에 따라 달라질 수 있다. 그러므로 이러한 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.In addition, terms to be described later are terms defined in consideration of functions in the present invention, which may vary according to a user's or operator's intention or custom. Therefore, the definitions of these terms should be made based on the contents throughout the specification.
도 1은 본 발명의 실시예에 따른 2D 영상 기반의 용접 비드 인식 시스템을 나타낸 블록구성도이다.1 is a block diagram illustrating a welding bead recognition system based on 2D image according to an exemplary embodiment of the present invention.
도 1에서 같이 본 발명의 실시예에 따른 비드 인식 시스템은 고정용 지그(100), 비전 카메라(200), 조명(300) 및 용접 비드 인식 장치(400)를 포함한다.1, the bead recognition system according to the embodiment of the present invention includes a
먼저 고정용 지그(100)는 검사 대상 시료(미도시)를 장착한다. 용접 비드 인식 알고리즘의 정확도와 신뢰성을 위해서 검사 대상 시료를 고정하는 고정용 지그(100)의 고정 상태가 중요하다. 이러한 고정용 지그(100)에는 검사 대상 시료 이외에도, 검사 대상 시료를 촬영하기 위한 비전 카메라(200) 및 조명(300)이 장착될 수도 있다.First, the
이때 검사 대상 시료로는 용접용 너트 등과 같은 용접 부품(용접물)일 수 있다. 용접용 너트는 차량의 차체 등에 용접되어 각종 부품과 내장재들을 고정하는데 사용되며, 너트의 둘레 일부분에는 호 형상의 용접 비드가 형성된다. 물론 본 실시예에서는 용접 상태 검사가 필요한 다양한 대상 시료에 적용될 수 있어 이에 한정하는 것은 아니다.In this case, the sample to be inspected may be a welding part (welding material) such as a welding nut. The welding nut is welded to a vehicle body and the like, and used to fix various parts and interior materials. An arc-shaped welding bead is formed at a part of the circumference of the nut. Of course, the present embodiment can be applied to various target samples requiring the welding state inspection, but is not limited thereto.
그리고 비전 카메라(200)는 고정용 지그(100)에 장착되어 있는 검사 대상 시료를 촬영하여 촬영된 2D 영상을 획득한다. The
그리고 조명(300)은 검사 대상 시료를 향하여 빛을 조사하며 비전 카메라(200)의 영상 품질을 높이기 위한 목적으로 사용될 수 있다.In addition, the
본 발명의 실시예는 용접 비드의 길이, 폭, 높이의 검출 오차를 줄이기 위하여 해상도가 1920Х1200(Full HD급)인 비전 카메라(200)를 사용할 수 있으며, 외부 조명 환경에 의해 발생되는 용접 비드 인식 오차를 줄이기 위하여 무영등 방식으로 제작된 조명(300)을 사용하여 영상을 획득하는 것이 바람직하다.The embodiment of the present invention may use a
마지막으로 용접 비드 인식 장치(400)는 비전 카메라(200)의 촬영 영상으로부터 용접 비드를 검출하고 인식할 수 있으며, 용접 비드에 대한 각종 계측값, 불량 상태 등을 검사하여 클라이언트(미도시)에게 통보할 수 있다. 이때 클라이언트는 사용자, 관리자 등이 접근 가능한 PC, 노트북, 단말기, 스마트폰, 패드 등을 포함할 수 있다.Finally, the welding
이하에서는 도 2를 참고하여 본 발명의 실시예에 따른 용접 비드 인식 장치(400)에 대해 설명한다.Hereinafter, a welding
도 2는 본 발명의 실시예에 따른 2D 영상 기반의 용접 비드 인식 장치를 나타낸 블록구성도이다.2 is a block diagram illustrating a welding bead recognition device based on 2D image according to an exemplary embodiment of the present invention.
도 2에서와 같이 본 발명의 실시예에 따른 용접 비드 인식 장치(400)는 영상 입력부(410), 전처리부(420), 영역 검출부(430), 영상 획득부(440), 용접 비드 인식부(450), 판단부(460) 및 출력부(470)를 포함한다.As shown in FIG. 2, the welding
먼저, 입력부(410)는 비전 카메라(200)로부터 촬영된 검사 대상 시료의 2D 영상을 입력받는다.First, the
그리고, 전처리부(420)는 입력부(410)에서 입력받은 영상의 관심 영역(ROI; Region Of Interest)을 설정하고, 설정된 관심 영역을 전처리한다.The
자세히는, 전처리부(420)는 먼저 관심 영역 내 외부 환경 요인을 제거하기 위한 명암을 조정한다.In detail, the
이때, 외부 환경 요인은 주변 조명, 조도 및 외부 간섭 중 어느 하나 이상을 포함할 수 있다.At this time, the external environmental factors may include any one or more of ambient lighting, illumination and external interference.
그리고 다음의 수학식 1과 같이 적응적 국부 감마 교정(adaptive local gamma correction) 알고리즘을 이용하여 연산되는 적응적 국부 감마 고정된 영상(OALGC(x,y))으로부터 명암을 조정할 수 있다.Contrast may be adjusted from an adaptive local gamma fixed image (O ALGC (x, y)) calculated using an adaptive local gamma correction algorithm as shown in Equation 1 below.
여기서, NG는 출력 영상의 최대 명암도 값이고, D(x,y)는 원영상이며, σ(x,y)는 국부적 영역(local region)에 대한 분산값이다.Here, N G is the maximum intensity value of the output image, D (x, y) is the original image, and σ (x, y) is the variance value for the local region.
수학식 1의 연산 결과, 국부적 영역이 2D 영상의 배경 영역에 위치하는 경우, 국부 감마 교정된 값은 0에 근사한 값이 되어 전처리부(420)는 이에 대응하게 영상의 명암을 조정하고, 국부적 영역이 인식하고자 하는 용접 비드의 영역에 포함된 경우, 배경 영역보다 국부 감마 교정된 값이 증가되어 배경 영역보다 인식하고자 하는 물체가 선명해짐에 따라 물체가 돋보이는 효과를 가진다.As a result of the calculation of Equation 1, when the local region is located in the background region of the 2D image, the local gamma corrected value is approximated to 0, and the
또한 전처리부(420)는 가우시안 필터(Gaussian Filter)를 이용하여 명암이 조정된 영상의 배경 잡음을 제거하고, 샤프닝 필터(Sharpening Filter)를 이용하여 배경 잡음이 제거된 영상에서 윤곽선 성분을 증가시켜 용접 비드 영역의 윤곽선을 강조하여 전처리한다. Also, the
이때, 가우시안 필터는 중앙값만 도드라지게 보고 주변은 잘 안보이게 하는 마스킹의 형태로 스무스하게 만들어주는 것이고, 샤프닝 필터는 에지를 날카롭게 하여 윤곽선을 강조시키는 것이다.At this time, the Gaussian filter smoothes the shape of the masking so that only the median value is raised and the surroundings are not easily seen, and the sharpening filter sharpens the edges to emphasize the outline.
그리고 영역 검출부(430)는 전처리부(420)에서 전처리된 관심 영역에서 검사 대상 시료의 용접 비드 영역을 검출한다.In addition, the
그리고 영상 획득부(440)는 영역 검출부(430)에서 검출된 용접 비드 영역의 색좌표를 변환시켜 용접 그을음 부분을 제거하고, 용접 그을음 부분이 제거된 용접 비드 영역과 나머지 배경 영역을 이진화 처리한 이진화 영상을 획득한다.The
자세히는, 영상 획득부(440)는 RGB 색좌표를 CMYK 색좌표로 변환시켜 변환된 CMYK 색좌표 중 용접 비드 부분에 해당하는 C(Cyan)를 추출하여 용접 그을음 부분을 제거한다.In detail, the
여기서, CMYK 색좌표는 파랑(Cyan), 자주(Magenta), 노랑(Yellow), 검정(Key = Black) 색좌표로 인쇄 출력물 등에 많이 사용하는 색좌표이며, 본 발명의 실시예에서는 이 중 파랑에 해당하는 C(Cyan)만 사용하여 용접 그을음과 용접 비드를 분리한다.Here, the CMYK color coordinates are blue (Myan), purple (Magenta), yellow (Yellow), and black (Key = Black) color coordinates, which are commonly used in printed outputs, etc. In an embodiment of the present invention, C corresponds to blue Separate weld soot and weld beads using only cyan.
본 발명의 실시예에서 C(Cyan)만 사용하는 이유는, CO2 용접 후 용접 비드의 색좌표는 C(Cyan)에서 두드러지게 나타나는 경향이 있는 반면, 용접 그을음은 Y(Yellow)에서 두드러지게 나타나는 경향이 있기 때문에 용접 그을음을 제거하고 용접 비드만 검출하기 위하여 C(Cyan)만 사용한다.The reason for using only C (Cyan) in the embodiment of the present invention is that the color coordinate of the weld bead tends to be prominent in C (Cyan) after CO 2 welding, whereas the weld soot tends to be prominent in Y (Yellow). Because of this, only C (Cyan) is used to remove weld soot and to detect only weld beads.
또한, 영상 획득부(440)는 용접 그을음 부분이 제거된 영상을 마스킹하고, 마스킹된 영상에서 국부적 평균값을 이용한 적응적 이진화를 수행하여 이진화 영상을 획득한다.In addition, the
그리고 용접 비드 인식부(450)는 모폴로지(Morphology) 알고리즘을 이용하여 영상 획득부(440)에서 획득된 이진화 영상으로부터 용접 비드를 인식한다.The
그리고 판단부(460)는 용접 비드 인식부(450)에서 인식된 용접 비드의 특징 정보를 검출하고, 검출된 특징 정보로부터 용접 비드의 형태 이상 여부를 판단한다.The
이때 용접 비드의 특징 정보는 용접 비드의 시작점, 끝점, 호(아크)의 길이, 호의 길이 방향을 따라 획득된 복수의 비드 폭(width)에 대한 평균, 최대 및 최소 값 중 적어도 하나를 포함한다. In this case, the characteristic information of the weld bead includes at least one of a start point, an end point, a length of an arc (ark), and an average, a maximum, and a minimum value of a plurality of bead widths obtained along the length direction of the arc.
이를 통해 그을음이 제거된 용접 비드의 형태 이상 여부를 판단할 수 있다.Through this, it is possible to determine whether the shape of the weld bead is removed soot.
마지막으로 출력부(470)는 판단부(460)의 판단 결과를 디스플레이 화면 또는 외부의 클라이언트로 제공한다.Finally, the
이하에서는 도 3 내지 도 5를 통해 본 발명의 실시예에 따른 2D 영상기반의 용접 비드 인식 장치를 이용한 그을음 제거 방법에 대하여 설명한다.Hereinafter, a method for removing soot using a 2D image-based welding bead recognition device according to an embodiment of the present invention will be described with reference to FIGS. 3 to 5.
도 3은 본 발명의 실시예에 따른 2D 영상기반의 용접 비드 인식 장치를 이용한 그을음 제거 방법의 동작 흐름을 도시한 순서도이고, 도 4는 본 발명의 실시예에 따른 2D 영상기반의 용접 비드 인식 장치를 이용한 그을음 제거 방법을 설명하기 위한 각 단계별 영상 샘플을 나타낸 것으로서, 이를 참조하여 본 발명의 구체적인 동작을 설명한다.3 is a flowchart illustrating an operation flow of a soot removing method using a 2D image-based welding bead recognition device according to an embodiment of the present invention, and FIG. 4 is a 2D image-based welding bead recognition device according to an embodiment of the present invention. Each step to illustrate the method for removing soot is shown as an image sample, with reference to this will be described the specific operation of the present invention.
본 발명의 실시예에 따르면, 먼저 용접 비드 인식 장치(400)의 영상 입력부(410)는 비전 카메라(200)로부터 촬영된 검사 대상 시료의 2D 영상을 입력받는다(S310).According to the exemplary embodiment of the present invention, first, the
이때, S310 단계에서 입력받은 2D 영상은 도 4의 (A)와 같이 나타낼 수 있다. In this case, the 2D image input in step S310 may be represented as shown in FIG.
여기서 2D 영상에 대해 검사 대상 시료(O)의 기준 중심(ex, 너트의 중심)으로부터 좌우 양쪽에만 용접 비드(B)가 있고, 용접 비드(B)의 외부 윤곽선을 따라 용접 그을음(S)이 있다고 가정하여 이하의 알고리즘을 적용할 수 있다.Here, for the 2D image, there are welding beads B on both left and right sides from the reference center (ex, center of the nut) of the sample to be inspected O, and welding soot S along the outer contour of the welding bead B. Assuming that the following algorithm can be applied.
그 다음 전처리부(420)는 S310 단계에서 입력받은 2D 영상의 관심 영역을 설정하고 설정된 관심 영역을 전처리한다(S320).Next, the
이때, 외부 환경 요인은 주변 조명, 조도 및 외부 간섭 중 어느 하나 이상을 포함할 수 있다.At this time, the external environmental factors may include any one or more of ambient lighting, illumination and external interference.
또한, 위의 수학식 1과 같이 적응적 국부 감마 교정(adaptive local gamma correction) 알고리즘을 이용하여 연산되는 적응적 국부 감마 고정된 영상(OALGC(x,y))으로부터 명암을 조정할 수 있다.In addition, the contrast may be adjusted from an adaptive local gamma fixed image O ALGC (x, y) calculated using an adaptive local gamma correction algorithm as shown in Equation 1 above.
이때, S320단계에 의해 명암이 조정된 영상은 도 4의 (B)와 같이 나타낼 수 있다.In this case, the image whose contrast is adjusted in step S320 may be represented as shown in FIG.
또한 S320 단계는 조명 및 외부 환경에 의해 발생될 수 있는 영상 내 존재하는 가우시안 노이즈(Gaussian noise)를 제거하기 위한 필터링 과정을 포함하는데, 노이즈 필터링 시에 2차원 가우시안 커널(Gaussian kernel)을 사용하면 조명에 의해 발생되는 영상 내 가우시안 노이즈를 제거할 뿐만 아니라 그림자 혹은 빛에 의한 외부 영향을 감소시킨다. 물론, 잡음 제거를 위해 가우시안, 미디어 필터 등을 사용할 수 있다.In addition, the step S320 includes a filtering process to remove Gaussian noise existing in the image that may be generated by the lighting and the external environment. It not only removes Gaussian noise in the image, but also reduces external influences caused by shadows or light. Of course, Gaussian, media filters, etc. can be used for noise reduction.
그리고 샤프닝 필터를 이용하여 배경 잡음이 제거된 영상에서 윤곽선 성분을 증가시켜 용접 비드 영역의 윤곽선을 강조시켜 처리한다.In addition, the sharpening filter is used to increase the contour component in the image from which the background noise is removed to emphasize the contour of the weld bead region.
그 다음 영역 검출부(430)는 S320 단계에서 전처리된 관심 영역에서 검사 대상 시료(O)의 용접 비드 영역(B)을 검출한다(S330).Next, the
즉, S330 단계에서는 관심 영역으로부터 검사 대상 시료의 너트 부분과 용접 비드 영역(B)을 검출할 수 있다.That is, in step S330, the nut portion and the weld bead region B of the test target sample may be detected from the region of interest.
예를 들어 관심 영역 내에서 너트의 꼭지점 등과 같은 특징점들을 추출하고 비드 외곽 윤곽선 검출 알고리즘을 적용하여 비드 윤곽선(bead edge)을 검출하며 윤곽선 검출을 통해 비드 영역(B)을 검출(bead detection)한다. 비드 윤곽선 검출을 통해 획득한 비드 영역(B)에서 비드의 폭, 길이 등을 측정하는 계산 알고리즘을 적용하면 비드의 특징 정보를 획득할 수 있다.For example, feature points such as a vertex of a nut, etc. are extracted from a region of interest, a bead edge detection algorithm is applied to detect a bead edge, and a bead area B is detected through the edge detection. The bead feature information may be obtained by applying a calculation algorithm that measures the width, length, etc. of the bead in the bead area B obtained through bead contour detection.
그리고 영상 획득부(440)는 S330 단계에서 검출된 용접 비드 영역(B)의 색좌표를 변환시켜 용접 그을음(S) 부분을 제거한다(S340).The
자세히는, RGB 색좌표를 CMYK 색좌표로 변환시켜 변환된 CMYK 색좌표 중 용접 비드 부분에 해당하는 C(Cyan)를 추출하여 용접 그을음(S) 부분을 제거한다.In detail, by converting the RGB color coordinates to CMYK color coordinates, the C (Cyan) corresponding to the weld bead portion of the converted CMYK color coordinates is extracted to remove the weld soot (S).
이때, S340단계에서 색좌표 변환으로 용접 그을음(S) 부분이 제거된 영상은 도 4의 (C)와 같이 나타낼 수 있다.In this case, the image in which the welding soot (S) is removed by color coordinate transformation in operation S340 may be represented as shown in FIG.
자세히는, RGB 색좌표를 CMYK 색좌표로 변환시키는데, 본 발명의 실시예에서는 CMYK 색좌표 중 C(Cyan)만 사용하여 그을음(S)과 용접 비드 부분을 분리하는 것이 바람직하다.In detail, RGB color coordinates are converted to CMYK color coordinates. In an embodiment of the present invention, it is preferable to separate the soot (S) and the weld bead portion using only C (Cyan) among the CMYK color coordinates.
그 다음 영상 획득부(440)는 S340 단계에서 용접 그을음(S) 부분이 제거된 용접 비드 영역(B)과 나머지 배경 영역을 이진화 처리한 이진화 영상을 획득한다(S350).In operation S340, the
이때, S350단계에서 이진화 처리된 이진화 영상은 도 4의 (D)와 같이 영상 내에서 용접 비드 영역(B)만 흰색으로 처리되고, 볼트를 포함한 나머지 영역은 모두 검은색으로 배경 처리된다.In this case, the binarization image subjected to binarization in operation S350 is processed to white only the welding bead region B in the image, as shown in FIG. 4D, and all other regions including the bolt are background processed to black.
그 다음 용접 비드 인식부(450)는 모폴로지(Morphology) 알고리즘을 이용하여 S350 단계에서 획득된 이진화 영상으로부터 용접 비드를 인식한다(S360).Next, the welding
여기서 모폴로지 알고리즘은 영상의 분리, 영상 처리에 앞선 전처리 과정(노이즈 제거, 특징 추출 등)에서 사용되는 알고리즘으로 공지의 기술이므로 상세한 설명은 생략하기로 한다.Here, the morphology algorithm is an algorithm used in preprocessing (noise removal, feature extraction, etc.) prior to image separation and image processing, and thus a detailed description thereof will be omitted.
그 다음 판단부(460)는 S360 단계에서 인식된 용접 비드의 특징 정보를 검출하고, 검출된 특징 정보로부터 용접 비드의 형태 이상 여부를 판단한다(S370).Next, the
이때 용접 비드의 특징 정보는 용접 비드의 시작점, 끝점, 호(아크)의 길이, 호의 길이 방향을 따라 획득된 복수의 비드 폭(width)에 대한 평균, 최대 및 최소 값 중 적어도 하나를 포함한다.In this case, the characteristic information of the weld bead includes at least one of a start point, an end point, a length of an arc (ark), and an average, a maximum, and a minimum value of a plurality of bead widths obtained along the length direction of the arc.
용접 비드는 호 형상을 가지며, 비드 폭은 비드의 내부 윤곽선과 내부 윤곽선 사이의 거리에 대응한다. 여기서 비드의 외곽 윤곽선은 너트의 중심에 더욱 가까운 내부 윤곽선과 그보다 멀리 있는 외부 윤곽선으로 구분될 수 있다.The weld bead has an arc shape and the bead width corresponds to the distance between the inner contour and the inner contour of the bead. Here, the outer contour of the bead may be divided into an inner contour closer to the center of the nut and an outer contour farther from it.
따라서 비드 폭은 비드의 호 길이 방향에 대하여 설정 간격으로 측정될 수 있으며 설정 간격으로 획득한 각각의 측정 값으로부터 최대, 최소 및 평균을 구할 수 있다. 비드 폭은 다음과 같은 방식으로 구할 수 있다.Therefore, the bead width may be measured at set intervals with respect to the arc length direction of the beads, and the maximum, minimum, and average may be obtained from the respective measured values obtained at the set intervals. Bead width can be obtained in the following way.
먼저, 검사 대상 시료의 중심점(ex, 너트의 중심점)이 용접 비드의 외부 윤곽선상의 한 점과 만나는 직선을 형성한다. 즉, 비드 외부 윤곽선과 너트 중심이 만나는 직선 방정식을 도출한다. 그리고 직선과 외부 윤곽선이 만나는 점과, 직선과 내부 윤곽선이 만나는 점을 찾고 두 점 간의 거리를 측정하면 비드 폭이 연산된다. First, a straight line is formed in which the center point (ex, the center point of the nut) of the sample to be inspected meets one point on the outer contour of the weld bead. That is, a straight line equation where the bead outer contour meets the nut center is derived. The bead width is calculated by finding the point where the straight line meets the outer contour, the point where the straight line meets the inner contour, and measuring the distance between the two points.
이처럼 직선과 만나는 비드의 내부/외부 외곽선 간 거리를 비드의 폭으로 계산한다. 물론 이러한 과정은 너트의 둘레 방향에 대해 설정 간격으로 수행함으로써 비드 폭의 최대, 최소, 평균 값을 각각 구할 수 있다.The distance between the inner and outer outlines of the bead that meets the straight line is calculated as the width of the bead. Of course, this process can be performed at predetermined intervals in the circumferential direction of the nut to obtain the maximum, minimum and average values of the bead width, respectively.
도 5는 본 발명의 실시예에 따른 2D 영상 기반의 용접 비드 인식 장치를 이용한 그을음 제거 방법에서 용접 비드 폭을 설명하기 위한 도면이다.5 is a view for explaining a weld bead width in the soot removal method using a 2D image-based welding bead recognition device according to an embodiment of the present invention.
도 5에서와 같이 비드 폭(w)은 용접 비드 영역(B)의 내/외부 윤곽선 중 외부 윤곽선 상의 복수의 점들을 각각 대상으로, 검사 시료의 중심점과 외부 윤곽선상의 점이 만나는 직선(l)을 형성한 후, 직선(l)과 내부 윤곽선 간 교차점과 직선(l)과 외부 윤곽선 간 교차점 사이의 거리(w)를 구하는 것을 통해 각각 획득할 수 있다.As shown in FIG. 5, the bead width w is a plurality of points on the outer contour among the inner and outer contours of the weld bead area B, and forms a straight line l where the center point of the test sample meets the point on the outer contour. Then, it can be obtained by obtaining the distance w between the intersection between the straight line l and the inner contour and the intersection between the straight line l and the outer contour.
마지막으로 출력부(470)는 S370 단계의 판단 결과를 디스플레이 화면 또는 외부의 클라이언트로 제공한다(S380).Finally, the
상술한 바와 같이, 본 발명의 실시예에 따른 2D 영상기반의 용접 비드인식을 위한 그을음 제거 방법은 주변 조도나 외부 간섭 등 외부적인 요인에 의해 발생하는 인식 오차를 최소화함으로써 인식 성능을 향상시킬 수 있고, 용접 시 높은 열에 의해 용접팁과 모재 사이에 발생하는 그을음을 제거함으로써 용접 비드의 인식 성능을 향상시킬 수 있는 효과가 있다.As described above, the soot removal method for 2D image-based welding bead recognition according to an embodiment of the present invention can improve the recognition performance by minimizing the recognition error caused by external factors such as ambient illumination or external interference. In addition, there is an effect of improving the recognition performance of the weld bead by removing the soot generated between the welding tip and the base material by high heat during welding.
또한 본 발명의 실시예에 따르면, 현재 비전 인식 시스템에 주로 이용되고 있는 2D 영상을 기반으로 하여 사용 편의성을 향상 시킬 수 있다.In addition, according to an embodiment of the present invention, it is possible to improve the ease of use based on the 2D image that is mainly used in the current vision recognition system.
본 발명은 도면에 도시된 실시예를 참고로 하여 설명되었으나 이는 예시적인 것에 불과하며, 당해 기술이 속하는 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 진정한 기술적 보호범위는 아래의 특허청구범위의 기술적 사상에 의하여 정해져야 할 것이다.Although the present invention has been described with reference to the embodiments shown in the drawings, this is merely exemplary, and it will be understood by those skilled in the art that various modifications and equivalent other embodiments are possible. will be. Therefore, the true technical protection scope of the present invention will be defined by the technical spirit of the following claims.
100 : 고정용 지그 200 : 비전 카메라
300 : 조명 400 : 용접 비드 인식 장치
410 : 영상 입력부 420 : 전처리부
430 : 영역 검출부 440 : 영상 획득부
450 : 용접 비드 인식부 460 : 판단부
470 : 출력부100: fixing jig 200: vision camera
300: lighting 400: welding bead recognition device
410: image input unit 420: preprocessor
430: region detector 440: image acquisition unit
450: weld bead recognition unit 460: determination unit
470: output unit
Claims (16)
상기 입력받은 영상의 관심 영역을 설정하고, 설정된 관심 영역을 전처리하는 전처리부;
상기 전처리된 관심 영역에서 상기 검사 대상 시료의 용접 비드 영역을 검출하는 영역 검출부;
상기 검출된 용접 비드 영역의 색좌표를 변환시켜 용접 그을음 부분을 제거하고, 상기 용접 그을음 부분이 제거된 용접 비드 영역과 나머지 배경 영역을 이진화 처리한 이진화 영상을 획득하는 영상 획득부;
모폴로지(Morphology) 알고리즘을 이용하여 상기 획득된 이진화 영상으로부터 용접 비드를 인식하는 용접 비드 인식부;
상기 인식된 용접 비드의 특징 정보를 검출하고, 검출된 특징 정보로부터 용접 비드의 형태 이상 여부를 판단하는 판단부; 및
상기 판단 결과를 디스플레이 화면 또는 외부의 클라이언트로 제공하는 출력부를 포함하는 용접 비드 인식 장치.An image input unit which receives a 2D image of a test target sample photographed from a vision camera;
A preprocessor configured to set a region of interest of the input image and preprocess the set region of interest;
An area detector which detects a weld bead area of the test target sample in the preprocessed ROI;
An image acquisition unit for converting color coordinates of the detected weld bead region to remove a weld soot and to obtain a binarized image obtained by binarizing the weld bead region from which the weld soot is removed and the remaining background region;
A weld bead recognition unit recognizing a weld bead from the obtained binarization image using a morphology algorithm;
A determination unit which detects feature information of the recognized weld bead and determines whether a shape of the weld bead is abnormal from the detected feature information; And
Welding bead recognition device including an output unit for providing the determination result to the display screen or an external client.
상기 전처리부는,
상기 관심 영역 내 외부 환경 요인을 제거하기 위한 명암을 조정하고, 가우시안 필터를 이용하여 명암이 조정된 영상의 배경 잡음을 제거하고, 샤프닝 필터를 이용하여 배경 잡음이 제거된 영상에서 윤곽선 성분을 증가시켜 용접 비드 영역의 윤곽선을 강조하는 용접 비드 인식 장치.The method of claim 1,
The preprocessing unit,
Adjust the contrast to remove the external environmental factors in the region of interest, remove the background noise of the contrast-adjusted image using a Gaussian filter, and increase the contour components in the background noise-removed image using the sharpening filter Welding bead recognition device that emphasizes the contour of the weld bead area.
상기 외부 환경 요인은 주변 조명, 조도 및 외부 간섭 중 어느 하나 이상을 포함하고,
다음의 수학식과 같이 적응적 국부 감마 교정(adaptive local gamma correction) 알고리즘을 이용하여 연산되는 적응적 국부 감마 고정된 영상(OALGC(x,y))으로부터 상기 명암을 조정하는 용접 비드 인식 장치:
여기서, NG는 출력 영상의 최대 명암도 값이고, D(x,y)는 원영상이며, σ(x,y)는 국부적 영역(local region)에 대한 분산값이다.The method of claim 2,
The external environmental factors include any one or more of ambient lighting, illuminance and external interference,
A weld bead recognition device for adjusting the contrast from an adaptive local gamma fixed image (O ALGC (x, y)) calculated using an adaptive local gamma correction algorithm as shown in the following equation:
Here, N G is the maximum intensity value of the output image, D (x, y) is the original image, and σ (x, y) is the variance value for the local region.
상기 영상 획득부는,
상기 검출된 용접 비드 영역의 RGB 색좌표를 CMYK 색좌표로 변환시켜, 상기 변환된 CMYK 색좌표 중 용접 비드 부분에 해당하는 C(Cyan)를 추출하여 상기 용접 그을음 부분을 제거하는 용접 비드 인식 장치.The method of claim 1,
The image acquisition unit,
And converting the RGB color coordinates of the detected weld bead region into CMYK color coordinates, extracting C (Cyan) corresponding to the weld bead portion of the converted CMYK color coordinates, and removing the weld soot.
상기 영상 획득부는,
상기 용접 그을음 부분이 제거된 영상을 마스킹하고, 상기 마스킹된 영상에서 국부적 평균값을 이용한 적응적 이진화를 수행하여 상기 이진화 영상을 획득하는 용접 비드 인식 장치.The method of claim 1,
The image acquisition unit,
And welding the image from which the weld soot is removed, and performing the adaptive binarization using a local mean value from the masked image to obtain the binarized image.
상기 용접 비드의 특징 정보는,
용접 비드의 시작점, 끝점, 호의 길이, 상기 호의 길이 방향을 따라 획득된 복수의 비드 폭에 대한 평균, 최대 및 최소 값 중 적어도 하나를 포함하는 용접 비드 인식 장치.The method of claim 1,
Characteristic information of the welding bead,
And at least one of a mean, a maximum, and a minimum value for a plurality of bead widths obtained along the longitudinal direction of the arc.
상기 판단부는,
상기 용접 비드의 내/외부 윤곽선 중 외부 윤곽선 상의 복수의 점들을 각각 대상으로, 상기 검사 대상 시료의 중심점과 상기 외부 윤곽선상의 점이 만나는 직선을 형성한 후 상기 직선과 내부 윤곽선 간 교차점과 상기 직선과 외부 윤곽선 간 교차점 사이의 거리를 구하는 것을 통해 상기 복수의 비드 폭을 각각 획득하여 검출된 상기 특징 정보로부터 용접 비드의 형태 이상 여부를 판단하는 용접 비드 인식 장치.The method of claim 6,
The determination unit,
After forming a straight line where the center point of the sample to be examined and the point on the outer contour meet each of a plurality of points on the outer contour of the inner / outer contour of the weld bead, the intersection point between the straight line and the inner contour and the straight line and the outer Welding bead recognition device for determining whether the shape of the weld bead is abnormal from the detected feature information by obtaining each of the plurality of bead widths by obtaining the distance between the intersection point between the contour.
비전 카메라로부터 촬영된 검사 대상 시료의 2D 영상을 입력받는 단계;
상기 입력받은 영상의 관심 영역을 설정하고 설정된 관심 영역을 전처리하는 단계;
상기 전처리된 관심 영역에서 상기 검사 대상 시료의 용접 비드 영역을 검출하는 단계;
상기 검출된 용접 비드 영역의 색좌표를 변환시켜 용접 그을음 부분을 제거하는 단계;
상기 용접 그을음 부분이 제거된 용접 비드 영역과 나머지 배경 영역을 이진화 처리한 이진화 영상을 획득하는 단계;
모폴로지(Morphology) 알고리즘을 이용하여 상기 획득된 이진화 영상으로부터 용접 비드를 인식하는 단계;
상기 인식된 용접 비드의 특징 정보를 검출하고, 검출된 특징 정보로부터 용접 비드의 형태 이상 여부를 판단하는 단계; 및
상기 판단 결과를 디스플레이 화면 또는 외부의 클라이언트로 제공하는 단계를 포함하는 그을음 제거 방법.In the soot removal method using a weld bead recognition device,
Receiving a 2D image of a test target sample photographed from a vision camera;
Setting an ROI of the input image and preprocessing the ROI;
Detecting a weld bead region of the sample to be tested in the pretreated region of interest;
Removing the weld soot by converting color coordinates of the detected weld bead area;
Acquiring a binarization image obtained by binarizing the weld bead region from which the weld soot portion is removed and the remaining background region;
Recognizing a weld bead from the obtained binarized image using a morphology algorithm;
Detecting the characteristic information of the recognized weld bead and determining whether the shape of the weld bead is abnormal from the detected characteristic information; And
Soot removing method comprising the step of providing the determination result to the display screen or an external client.
상기 전처리하는 단계는,
상기 관심 영역 내 외부 환경 요인을 제거하기 위한 명암을 조정하는 단계,
가우시안 필터를 이용하여 명암이 조정된 영상의 배경 잡음을 제거하는 단계, 및
샤프닝 필터를 이용하여 배경 잡음이 제거된 영상에서 윤곽선 성분을 증가시켜 용접 비드 영역의 윤곽선을 강조하는 단계를 포함하는 그을음 제거 방법.The method of claim 9,
The preprocessing step,
Adjusting the contrast to remove external environmental factors within the region of interest;
Removing background noise of a contrast-adjusted image using a Gaussian filter, and
And increasing the contour component in the image from which the background noise is removed using a sharpening filter to emphasize the contour of the weld bead region.
상기 외부 환경 요인은 주변 조명, 조도 및 외부 간섭 중 어느 하나 이상을 포함하고,
상기 명암을 조정하는 단계는,
다음의 수학식과 같이 적응적 국부 감마 교정(adaptive local gamma correction) 알고리즘을 이용하여 연산되는 적응적 국부 감마 고정된 영상(OALGC(x,y))으로부터 명암을 조정하는 그을음 제거 방법.
여기서, NG는 출력 영상의 최대 명암도 값이고, D(x,y)는 원영상이며, σ(x,y)는 국부적 영역(local region)에 대한 분산값이다.The method of claim 10,
The external environmental factors include any one or more of ambient lighting, illuminance and external interference,
Adjusting the contrast,
A soot removal method for adjusting contrast from an adaptive local gamma fixed image (O ALGC (x, y)) calculated using an adaptive local gamma correction algorithm as in the following equation.
Where N G is the maximum intensity value of the output image, D (x, y) is the original image, and σ (x, y) is the variance value for the local region.
상기 색좌표를 변환시켜 용접 그을음 부분을 제거하는 단계는,
상기 검출된 용접 비드 영역의 RGB 색좌표를 CMYK 색좌표로 변환시켜, 상기 변환된 CMYK 색좌표 중 용접 비드 부분에 해당하는 C(Cyan)를 추출하여 상기 용접 그을음 부분을 제거하는 그을음 제거 방법.The method of claim 9,
Converting the color coordinates to remove the weld soot portion,
And converting the RGB color coordinates of the detected weld bead region into CMYK color coordinates, extracting C (Cyan) corresponding to a weld bead portion of the converted CMYK color coordinates, and removing the weld soot.
상기 이진화 영상을 획득하는 단계는,
상기 용접 그을음 부분이 제거된 영상을 마스킹하고, 상기 마스킹된 영상에서 국부적 평균값을 이용한 적응적 이진화를 수행하여 상기 이진화 영상을 획득하는 그을음 제거 방법.The method of claim 9,
Acquiring the binarized image,
And masking the image from which the weld soot is removed, and performing the adaptive binarization using a local mean value in the masked image to obtain the binarized image.
상기 용접 비드의 특징 정보는,
용접 비드의 시작점, 끝점, 호의 길이, 상기 호의 길이 방향을 따라 획득된 복수의 비드 폭에 대한 평균, 최대 및 최소 값 중 적어도 하나를 포함하는 그을음 제거 방법.The method of claim 9,
Characteristic information of the welding bead,
And at least one of a mean, a maximum and a minimum value for a plurality of bead widths obtained along the longitudinal direction of the arc.
상기 복수의 비드 폭은,
상기 용접 비드의 내/외부 윤곽선 중 외부 윤곽선 상의 복수의 점들을 각각 대상으로, 상기 검사 대상 시료의 중심점과 상기 외부 윤곽선상의 점이 만나는 직선을 형성한 후 상기 직선과 내부 윤곽선 간 교차점과 상기 직선과 외부 윤곽선 간 교차점 사이의 거리를 구하는 것을 통해 각각 획득되는 그을음 제거 방법.The method of claim 14,
The plurality of bead widths,
After forming a straight line where the center point of the sample to be examined and the point on the outer contour meet each of a plurality of points on the outer contour of the inner / outer contour of the weld bead, the intersection point between the straight line and the inner contour and the straight line and the outer Soot removal method, each obtained by obtaining the distance between intersections between contours.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020170048003 | 2017-04-13 | ||
| KR20170048003 | 2017-04-13 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20180115645A KR20180115645A (en) | 2018-10-23 |
| KR102043316B1 true KR102043316B1 (en) | 2019-11-12 |
Family
ID=64101635
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020180043478A KR102043316B1 (en) | 2017-04-13 | 2018-04-13 | Apparatus for weld bead recognition of 2d image-based and soot removal method using the same |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102043316B1 (en) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109685788B (en) * | 2018-12-22 | 2020-10-30 | 北京工业大学 | Automatic detection method for floor defect image based on morphological characteristics |
| CN111402222B (en) * | 2020-03-11 | 2023-07-25 | 苏州杰锐思智能科技股份有限公司 | High-frequency inductance bonding pad quality detection method and system |
| CN111862010A (en) * | 2020-07-03 | 2020-10-30 | 河南中烟工业有限责任公司 | Cigarette ash performance detection method based on linear Gaussian filtering |
| CN112132807B (en) * | 2020-09-23 | 2024-02-23 | 泉州装备制造研究所 | Weld joint region extraction method and device based on color similarity segmentation |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100687811B1 (en) * | 2005-07-05 | 2007-03-02 | 삼성중공업 주식회사 | Method and apparatus for detecting defects of the welded part |
| KR101727054B1 (en) * | 2015-06-17 | 2017-04-26 | 한밭대학교 산학협력단 | Method for detecting and recognizing traffic lights signal based on features |
-
2018
- 2018-04-13 KR KR1020180043478A patent/KR102043316B1/en active IP Right Grant
Non-Patent Citations (1)
| Title |
|---|
| 김용하, 외3, "라인 레이저를 이용한 원통 부착물의 심도 측정", 멀티미디어학회논문지 2017.02.* |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20180115645A (en) | 2018-10-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102043316B1 (en) | Apparatus for weld bead recognition of 2d image-based and soot removal method using the same | |
| KR102027986B1 (en) | Bead recognition apparatus using vision camera and method thereof | |
| CN109986172B (en) | Welding seam positioning method, equipment and system | |
| CN112686920A (en) | Visual measurement method and system for geometric dimension parameters of circular part | |
| CN108257171A (en) | Car radar assembling aperture detection method based on light vision | |
| JP2014020926A (en) | Surface defect inspection device and surface defect inspection method | |
| KR100687811B1 (en) | Method and apparatus for detecting defects of the welded part | |
| CN114820626B (en) | Intelligent detection method for automobile front face part configuration | |
| KR102012318B1 (en) | Apparatus for welding quality total inspection using image sensor and method thereof | |
| KR102242996B1 (en) | Method for atypical defects detect in automobile injection products | |
| JP4279833B2 (en) | Appearance inspection method and appearance inspection apparatus | |
| KR20170127883A (en) | Weld bead detecting method based on image | |
| CN113139943B (en) | Method and system for detecting appearance defects of open circular ring workpiece and computer storage medium | |
| CN117058411B (en) | Method, device, medium and equipment for identifying edge appearance flaws of battery | |
| CN113916893A (en) | Method for detecting die-cutting product defects | |
| JP2008249413A (en) | Defect detection method and device | |
| CN112150375A (en) | Tape inspection system, tape inspection method, and storage medium with tape inspection program | |
| KR20160097651A (en) | Apparatus and Method for Testing Pattern of Sample using Validity Image Processing Technique, and computer-readable recording medium with program therefor | |
| CN115587993A (en) | Mask welding spot defect detection method based on AI and machine vision algorithm | |
| JP4820971B2 (en) | Surface inspection method | |
| US20210374942A1 (en) | Belt examination system and computer-readable non-transitory recording medium having stored belt examination program | |
| JP2004062519A (en) | Lane mark detector | |
| US20170336283A1 (en) | Method for checking the position of characteristic points in light distributions | |
| KR20190119801A (en) | Vehicle Headlight Alignment Calibration and Classification, Inspection of Vehicle Headlight Defects | |
| CN110530800B (en) | Method and device for detecting glass stress defect |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |