KR20180115645A - 2d 영상 기반의 용접 비드 인식 장치 및 그것을 이용한 그을음 제거 방법 - Google Patents

2d 영상 기반의 용접 비드 인식 장치 및 그것을 이용한 그을음 제거 방법 Download PDF

Info

Publication number
KR20180115645A
KR20180115645A KR1020180043478A KR20180043478A KR20180115645A KR 20180115645 A KR20180115645 A KR 20180115645A KR 1020180043478 A KR1020180043478 A KR 1020180043478A KR 20180043478 A KR20180043478 A KR 20180043478A KR 20180115645 A KR20180115645 A KR 20180115645A
Authority
KR
South Korea
Prior art keywords
image
weld bead
weld
region
bead
Prior art date
Application number
KR1020180043478A
Other languages
English (en)
Other versions
KR102043316B1 (ko
Inventor
김주영
유종호
박재률
Original Assignee
재단법인 경북아이티융합 산업기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 재단법인 경북아이티융합 산업기술원 filed Critical 재단법인 경북아이티융합 산업기술원
Publication of KR20180115645A publication Critical patent/KR20180115645A/ko
Application granted granted Critical
Publication of KR102043316B1 publication Critical patent/KR102043316B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/155—Segmentation; Edge detection involving morphological operators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K37/00—Auxiliary devices or processes, not specially adapted to a procedure covered by only one of the preceding main groups
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/001—Image restoration
    • G06T5/002—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/001—Image restoration
    • G06T5/003—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/007—Dynamic range modification
    • G06T5/70—
    • G06T5/73—
    • G06T5/90—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20036—Morphological image processing

Abstract

본 발명은 2D 영상 기반의 용접 비드 인식 장치 및 그것을 이용한 그을음 제거 방법에 대한 것이다.
본 발명에 따른 용접 비드 인식 장치는 비전 카메라로부터 촬영된 검사 대상 시료의 2D 영상을 입력받는 영상 입력부와, 입력받은 영상의 관심 영역을 설정하고, 설정된 관심 영역을 전처리하는 전처리부와, 전처리된 관심 영역에서 검사 대상 시료의 용접 비드 영역을 검출하는 영역 검출부와, 검출된 용접 비드 영역의 색좌표를 변환시켜 용접 그을음 부분을 제거하고, 용접 그을음 부분이 제거된 용접 비드 영역과 나머지 배경 영역을 이진화 처리한 이진화 영상을 획득하는 영상 획득부와, 모폴로지(Morphology) 알고리즘을 이용하여 획득된 이진화 영상으로부터 용접 비드를 인식하는 용접 비드 인식부 및 인식된 용접 비드의 특징 정보를 검출하고, 검출된 특징 정보로부터 용접 비드의 형태 이상 여부를 판단하는 판단부를 포함한다.
이와 같이 본 발명에 따르면, 비전 카메라로부터 촬영된 2D 영상에서 용접 시 높은 열에 의해 용접팁과 모재 사이에 발생하는 그을음을 제거함으로써 용접 비드의 인식 성능을 향상시킬 수 있어 불량 검사 판별 시 오차율을 저감시킬 수 있다.

Description

2D 영상 기반의 용접 비드 인식 장치 및 그것을 이용한 그을음 제거 방법{APPARATUS FOR WELD BEAD RECOGNITION OF 2D IMAGE-BASED AND SOOT REMOVAL METHOD USING THE SAME}
본 발명은 2D 영상 기반의 용접 비드 인식 장치 및 그것을 이용한 그을음 제거 방법에 관한 것으로서, 더욱 상세하게는 2D 영상에서 비드 주변 그을음을 제거하여 용접 비드의 상태를 정확하게 인식할 수 있는 2D 영상 기반의 용접 비드 인식 장치 및 그것을 이용한 그을음 제거 방법에 관한 것이다.
자동차 제조 업체에서는 자동차를 생산하기까지 모든 양산공정 내에서 수만 여 개의 부품을 수많은 용접 및 조립공정으로 조립한다. 이때 용접 조립된 차체는 조립 품질의 향상을 위해 별도의 공정에서 용접부의 품질 검사가 이루어지고 있다.
최근 들어서는 용접 품질의 향상에 대한 요구가 증가하고 있으나, 용접부 모니터링에 의한 품질 관리는 용접 후의 품질에 대해 보증하기 어려운 한계가 있기 때문에, 보통 차체의 용접 후에 품질 검사가 이루어진다.
용접부의 품질 검사를 위해 샘플 검사가 이루어지며, 이때 샘플 검사는 비파괴검사가 대부분이고, 전수 검사는 육안을 통한 외관 검사를 통해 수행되고 있다. 그러나 육안을 통한 전수검사 시 용접 결함이 정확하게 검출되지 않는 단점이 있어 유명 자동차 부품 제조 업체들은 비전을 이용한 외관 검사 장비를 도입하여 검사하고 있으며, 2D 또는 3D 기반의 검사 시스템을 적용하고 있다. 현재 비전 인식시스템은 주로 2D 기반의 비전 장비가 많이 이용되고 있는 추세이다.
비전 인식시스템은 주변 조도나 외부 간섭 등 외부적인 요인에 의하여 인식 오차가 발생할 수 있어 오차를 최소화하여 인식 성능을 높일 수 있도록 해야 한다. 또한 용접 시 높은 열에 의해 용접팁과 모재 사이에 그을음이 발생하게 되는데, 이러한 그을음에 의해 비드가 부정확하게 인식되는 문제점이 있다.
본 발명의 배경이 되는 기술은 대한민국 등록특허공보 제10-1427972호(2014. 08. 08. 공고)에 개시되어 있다.
본 발명이 이루고자 하는 기술적 과제는 2D 영상에서 비드 주변 그을음을 제거하여 용접 비드의 상태를 정확하게 인식할 수 있는 2D 영상 기반의 용접 비드 인식 장치 및 그것을 이용한 그을음 제거 방법을 제공하기 위한 것이다.
이러한 기술적 과제를 이루기 위한 본 발명의 실시예에 따른 2D 영상 기반의 용접 비드 인식 장치는, 비전 카메라로부터 촬영된 검사 대상 시료의 2D 영상을 입력받는 영상 입력부; 상기 입력받은 영상의 관심 영역을 설정하고, 설정된 관심 영역을 전처리하는 전처리부; 상기 전처리된 관심 영역에서 상기 검사 대상 시료의 용접 비드 영역을 검출하는 영역 검출부; 상기 검출된 용접 비드 영역의 색좌표를 변환시켜 용접 그을음 부분을 제거하고, 상기 용접 그을음 부분이 제거된 용접 비드 영역과 나머지 배경 영역을 이진화 처리한 이진화 영상을 획득하는 영상 획득부; 모폴로지(Morphology) 알고리즘을 이용하여 상기 획득된 이진화 영상으로부터 용접 비드를 인식하는 용접 비드 인식부; 및 상기 인식된 용접 비드의 특징 정보를 검출하고, 검출된 특징 정보로부터 용접 비드의 형태 이상 여부를 판단하는 판단부를 포함한다.
또한 상기 전처리부는 상기 관심 영역 내 외부 환경 요인을 제거하기 위한 명암을 조정하고, 가우시안 필터를 이용하여 명암이 조정된 영상의 배경 잡음을 제거하고, 샤프닝 필터를 이용하여 배경 잡음이 제거된 영상에서 윤곽선 성분을 증가시켜 용접 비드 영역의 윤곽선을 강조할 수 있다.
또한 상기 외부 환경 요인은 주변 조명, 조도 및 외부 간섭 중 어느 하나 이상을 포함하고, 다음의 수학식과 같이 적응적 국부 감마 교정(adaptive local gamma correction) 알고리즘을 이용하여 연산되는 적응적 국부 감마 고정된 영상(OALGC(x,y))으로부터 상기 명암을 조정할 수 있다.
Figure pat00001
여기서, NG는 출력 영상의 최대 명암도 값이고, D(x,y)는 원영상이며, σ(x,y)는 국부적 영역(local region)에 대한 분산값이다.
또한 상기 영상 획득부는 상기 검출된 용접 비드 영역의 RGB 색좌표를 CMYK 색좌표로 변환시켜, 상기 변환된 CMYK 색좌표 중 용접 비드 부분에 해당하는 C(Cyan)를 추출하여 상기 용접 그을음 부분을 제거할 수 있다.
또한 상기 영상 획득부는 상기 용접 그을음 부분이 제거된 영상을 마스킹하고, 상기 마스킹된 영상에서 국부적 평균값을 이용한 적응적 이진화를 수행하여 상기 이진화 영상을 획득할 수 있다.
또한 상기 용접 비드의 특징 정보는 용접 비드의 시작점, 끝점, 호의 길이, 상기 호의 길이 방향을 따라 획득된 복수의 비드 폭에 대한 평균, 최대 및 최소 값 중 적어도 하나를 포함할 수 있다.
또한 상기 판단부는 상기 용접 비드의 내/외부 윤곽선 중 외부 윤곽선 상의 복수의 점들을 각각 대상으로, 상기 검사 시료의 중심점과 상기 외부 윤곽선상의 점이 만나는 직선을 형성한 후 상기 직선과 내부 윤곽선 간 교차점과 상기 직선과 외부 윤곽선 간 교차점 사이의 거리를 구하는 것을 통해 상기 복수의 비드 폭을 각각 획득하여 검출된 상기 특징 정보로부터 용접 비드의 형태 이상 여부를 판단할 수 있다.
또한 상기 판단 결과를 디스플레이 화면 또는 외부의 클라이언트로 제공하는 출력부를 더 포함할 수 있다.
또한 본 발명의 실시예에 따른 용접 비드 인식 장치를 이용한 그을음 제거 방법은 비전 카메라로부터 촬영된 검사 대상 시료의 2D 영상을 입력받는 단계; 상기 입력받은 영상의 관심 영역을 설정하고 설정된 관심 영역을 전처리하는 단계; 상기 전처리된 관심 영역에서 상기 검사 대상 시료의 용접 비드 영역을 검출하는 단계; 상기 검출된 용접 비드 영역의 색좌표를 변환시켜 용접 그을음 부분을 제거하는 단계; 상기 용접 그을음 부분이 제거된 용접 비드 영역과 나머지 배경 영역을 이진화 처리한 이진화 영상을 획득하는 단계; 모폴로지(Morphology) 알고리즘을 이용하여 상기 획득된 이진화 영상으로부터 용접 비드를 인식하는 단계; 및 상기 인식된 용접 비드의 특징 정보를 검출하고, 검출된 특징 정보로부터 용접 비드의 형태 이상 여부를 판단하는 단계를 포함한다.
이와 같이 본 발명에 따르면, 비전 카메라로부터 촬영된 2D 영상에서 용접 시 높은 열에 의해 용접팁과 모재 사이에 발생하는 그을음을 제거함으로써 용접 비드의 인식 성능을 향상시킬 수 있어 불량 검사 판별 시 오차율을 저감시킬 수 있다.
또한 본 발명에 따르면, 주변 조도나 외부 간섭 등 외부적인 요인에 의해 발생하는 비드 인식 오차를 최소화함으로써 인식 성능을 향상시킬 수 있는 효과가 있다.
또한 본 발명에 따르면, 현재 비전 인식 시스템에 주로 이용되고 있는 2D 영상을 기반으로 하여 사용 편의성을 향상시킬 수 있다.
도 1은 본 발명의 실시예에 따른 2D 영상 기반의 용접 비드 인식 시스템을 나타낸 블록구성도이다.
도 2는 본 발명의 실시예에 따른 2D 영상 기반의 용접 비드 인식 장치를 나타낸 블록구성도이다.
도 3은 본 발명의 실시예에 따른 2D 영상 기반의 용접 비드 인식 장치를 이용한 그을음 제거 방법의 동작 흐름을 도시한 순서도이다.
도 4는 본 발명의 실시예에 따른 2D 영상 기반의 용접 비드 인식 장치를 이용한 그을음 제거 방법을 설명하기 위한 각 단계별 영상 샘플이다.
도 5는 본 발명의 실시예에 따른 2D 영상 기반의 용접 비드 인식 장치를 이용한 그을음 제거 방법에서 용접 비드 폭을 설명하기 위한 도면이다.
이하 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설명하기로 한다. 이 과정에서 도면에 도시된 선들의 두께나 구성요소의 크기 등은 설명의 명료성과 편의상 과장되게 도시되어 있을 수 있다.
또한 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서, 이는 사용자, 운용자의 의도 또는 관례에 따라 달라질 수 있다. 그러므로 이러한 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1은 본 발명의 실시예에 따른 2D 영상 기반의 용접 비드 인식 시스템을 나타낸 블록구성도이다.
도 1에서 같이 본 발명의 실시예에 따른 비드 인식 시스템은 고정용 지그(100), 비전 카메라(200), 조명(300) 및 용접 비드 인식 장치(400)를 포함한다.
먼저 고정용 지그(100)는 검사 대상 시료(미도시)를 장착한다. 용접 비드 인식 알고리즘의 정확도와 신뢰성을 위해서 검사 대상 시료를 고정하는 고정용 지그(100)의 고정 상태가 중요하다. 이러한 고정용 지그(100)에는 검사 대상 시료 이외에도, 검사 대상 시료를 촬영하기 위한 비전 카메라(200) 및 조명(300)이 장착될 수도 있다.
이때 검사 대상 시료로는 용접용 너트 등과 같은 용접 부품(용접물)일 수 있다. 용접용 너트는 차량의 차체 등에 용접되어 각종 부품과 내장재들을 고정하는데 사용되며, 너트의 둘레 일부분에는 호 형상의 용접 비드가 형성된다. 물론 본 실시예에서는 용접 상태 검사가 필요한 다양한 대상 시료에 적용될 수 있어 이에 한정하는 것은 아니다.
그리고 비전 카메라(200)는 고정용 지그(100)에 장착되어 있는 검사 대상 시료를 촬영하여 촬영된 2D 영상을 획득한다.
그리고 조명(300)은 검사 대상 시료를 향하여 빛을 조사하며 비전 카메라(200)의 영상 품질을 높이기 위한 목적으로 사용될 수 있다.
본 발명의 실시예는 용접 비드의 길이, 폭, 높이의 검출 오차를 줄이기 위하여 해상도가 1920Х1200(Full HD급)인 비전 카메라(200)를 사용할 수 있으며, 외부 조명 환경에 의해 발생되는 용접 비드 인식 오차를 줄이기 위하여 무영등 방식으로 제작된 조명(300)을 사용하여 영상을 획득하는 것이 바람직하다.
마지막으로 용접 비드 인식 장치(400)는 비전 카메라(200)의 촬영 영상으로부터 용접 비드를 검출하고 인식할 수 있으며, 용접 비드에 대한 각종 계측값, 불량 상태 등을 검사하여 클라이언트(미도시)에게 통보할 수 있다. 이때 클라이언트는 사용자, 관리자 등이 접근 가능한 PC, 노트북, 단말기, 스마트폰, 패드 등을 포함할 수 있다.
이하에서는 도 2를 참고하여 본 발명의 실시예에 따른 용접 비드 인식 장치(400)에 대해 설명한다.
도 2는 본 발명의 실시예에 따른 2D 영상 기반의 용접 비드 인식 장치를 나타낸 블록구성도이다.
도 2에서와 같이 본 발명의 실시예에 따른 용접 비드 인식 장치(400)는 영상 입력부(410), 전처리부(420), 영역 검출부(430), 영상 획득부(440), 용접 비드 인식부(450), 판단부(460) 및 출력부(470)를 포함한다.
먼저, 입력부(410)는 비전 카메라(200)로부터 촬영된 검사 대상 시료의 2D 영상을 입력받는다.
그리고, 전처리부(420)는 입력부(410)에서 입력받은 영상의 관심 영역(ROI; Region Of Interest)을 설정하고, 설정된 관심 영역을 전처리한다.
자세히는, 전처리부(420)는 먼저 관심 영역 내 외부 환경 요인을 제거하기 위한 명암을 조정한다.
이때, 외부 환경 요인은 주변 조명, 조도 및 외부 간섭 중 어느 하나 이상을 포함할 수 있다.
그리고 다음의 수학식 1과 같이 적응적 국부 감마 교정(adaptive local gamma correction) 알고리즘을 이용하여 연산되는 적응적 국부 감마 고정된 영상(OALGC(x,y))으로부터 명암을 조정할 수 있다.
Figure pat00002
여기서, NG는 출력 영상의 최대 명암도 값이고, D(x,y)는 원영상이며, σ(x,y)는 국부적 영역(local region)에 대한 분산값이다.
수학식 1의 연산 결과, 국부적 영역이 2D 영상의 배경 영역에 위치하는 경우, 국부 감마 교정된 값은 0에 근사한 값이 되어 전처리부(420)는 이에 대응하게 영상의 명암을 조정하고, 국부적 영역이 인식하고자 하는 용접 비드의 영역에 포함된 경우, 배경 영역보다 국부 감마 교정된 값이 증가되어 배경 영역보다 인식하고자 하는 물체가 선명해짐에 따라 물체가 돋보이는 효과를 가진다.
또한 전처리부(420)는 가우시안 필터(Gaussian Filter)를 이용하여 명암이 조정된 영상의 배경 잡음을 제거하고, 샤프닝 필터(Sharpening Filter)를 이용하여 배경 잡음이 제거된 영상에서 윤곽선 성분을 증가시켜 용접 비드 영역의 윤곽선을 강조하여 전처리한다.
이때, 가우시안 필터는 중앙값만 도드라지게 보고 주변은 잘 안보이게 하는 마스킹의 형태로 스무스하게 만들어주는 것이고, 샤프닝 필터는 에지를 날카롭게 하여 윤곽선을 강조시키는 것이다.
그리고 영역 검출부(430)는 전처리부(420)에서 전처리된 관심 영역에서 검사 대상 시료의 용접 비드 영역을 검출한다.
그리고 영상 획득부(440)는 영역 검출부(430)에서 검출된 용접 비드 영역의 색좌표를 변환시켜 용접 그을음 부분을 제거하고, 용접 그을음 부분이 제거된 용접 비드 영역과 나머지 배경 영역을 이진화 처리한 이진화 영상을 획득한다.
자세히는, 영상 획득부(440)는 RGB 색좌표를 CMYK 색좌표로 변환시켜 변환된 CMYK 색좌표 중 용접 비드 부분에 해당하는 C(Cyan)를 추출하여 용접 그을음 부분을 제거한다.
여기서, CMYK 색좌표는 파랑(Cyan), 자주(Magenta), 노랑(Yellow), 검정(Key = Black) 색좌표로 인쇄 출력물 등에 많이 사용하는 색좌표이며, 본 발명의 실시예에서는 이 중 파랑에 해당하는 C(Cyan)만 사용하여 용접 그을음과 용접 비드를 분리한다.
본 발명의 실시예에서 C(Cyan)만 사용하는 이유는, CO2 용접 후 용접 비드의 색좌표는 C(Cyan)에서 두드러지게 나타나는 경향이 있는 반면, 용접 그을음은 Y(Yellow)에서 두드러지게 나타나는 경향이 있기 때문에 용접 그을음을 제거하고 용접 비드만 검출하기 위하여 C(Cyan)만 사용한다.
또한, 영상 획득부(440)는 용접 그을음 부분이 제거된 영상을 마스킹하고, 마스킹된 영상에서 국부적 평균값을 이용한 적응적 이진화를 수행하여 이진화 영상을 획득한다.
그리고 용접 비드 인식부(450)는 모폴로지(Morphology) 알고리즘을 이용하여 영상 획득부(440)에서 획득된 이진화 영상으로부터 용접 비드를 인식한다.
그리고 판단부(460)는 용접 비드 인식부(450)에서 인식된 용접 비드의 특징 정보를 검출하고, 검출된 특징 정보로부터 용접 비드의 형태 이상 여부를 판단한다.
이때 용접 비드의 특징 정보는 용접 비드의 시작점, 끝점, 호(아크)의 길이, 호의 길이 방향을 따라 획득된 복수의 비드 폭(width)에 대한 평균, 최대 및 최소 값 중 적어도 하나를 포함한다.
이를 통해 그을음이 제거된 용접 비드의 형태 이상 여부를 판단할 수 있다.
마지막으로 출력부(470)는 판단부(460)의 판단 결과를 디스플레이 화면 또는 외부의 클라이언트로 제공한다.
이하에서는 도 3 내지 도 5를 통해 본 발명의 실시예에 따른 2D 영상기반의 용접 비드 인식 장치를 이용한 그을음 제거 방법에 대하여 설명한다.
도 3은 본 발명의 실시예에 따른 2D 영상기반의 용접 비드 인식 장치를 이용한 그을음 제거 방법의 동작 흐름을 도시한 순서도이고, 도 4는 본 발명의 실시예에 따른 2D 영상기반의 용접 비드 인식 장치를 이용한 그을음 제거 방법을 설명하기 위한 각 단계별 영상 샘플을 나타낸 것으로서, 이를 참조하여 본 발명의 구체적인 동작을 설명한다.
본 발명의 실시예에 따르면, 먼저 용접 비드 인식 장치(400)의 영상 입력부(410)는 비전 카메라(200)로부터 촬영된 검사 대상 시료의 2D 영상을 입력받는다(S310).
이때, S310 단계에서 입력받은 2D 영상은 도 4의 (A)와 같이 나타낼 수 있다.
여기서 2D 영상에 대해 검사 대상 시료(O)의 기준 중심(ex, 너트의 중심)으로부터 좌우 양쪽에만 용접 비드(B)가 있고, 용접 비드(B)의 외부 윤곽선을 따라 용접 그을음(S)이 있다고 가정하여 이하의 알고리즘을 적용할 수 있다.
그 다음 전처리부(420)는 S310 단계에서 입력받은 2D 영상의 관심 영역을 설정하고 설정된 관심 영역을 전처리한다(S320).
이때, 외부 환경 요인은 주변 조명, 조도 및 외부 간섭 중 어느 하나 이상을 포함할 수 있다.
또한, 위의 수학식 1과 같이 적응적 국부 감마 교정(adaptive local gamma correction) 알고리즘을 이용하여 연산되는 적응적 국부 감마 고정된 영상(OALGC(x,y))으로부터 명암을 조정할 수 있다.
이때, S320단계에 의해 명암이 조정된 영상은 도 4의 (B)와 같이 나타낼 수 있다.
또한 S320 단계는 조명 및 외부 환경에 의해 발생될 수 있는 영상 내 존재하는 가우시안 노이즈(Gaussian noise)를 제거하기 위한 필터링 과정을 포함하는데, 노이즈 필터링 시에 2차원 가우시안 커널(Gaussian kernel)을 사용하면 조명에 의해 발생되는 영상 내 가우시안 노이즈를 제거할 뿐만 아니라 그림자 혹은 빛에 의한 외부 영향을 감소시킨다. 물론, 잡음 제거를 위해 가우시안, 미디어 필터 등을 사용할 수 있다.
그리고 샤프닝 필터를 이용하여 배경 잡음이 제거된 영상에서 윤곽선 성분을 증가시켜 용접 비드 영역의 윤곽선을 강조시켜 처리한다.
그 다음 영역 검출부(430)는 S320 단계에서 전처리된 관심 영역에서 검사 대상 시료(O)의 용접 비드 영역(B)을 검출한다(S330).
즉, S330 단계에서는 관심 영역으로부터 검사 대상 시료의 너트 부분과 용접 비드 영역(B)을 검출할 수 있다.
예를 들어 관심 영역 내에서 너트의 꼭지점 등과 같은 특징점들을 추출하고 비드 외곽 윤곽선 검출 알고리즘을 적용하여 비드 윤곽선(bead edge)을 검출하며 윤곽선 검출을 통해 비드 영역(B)을 검출(bead detection)한다. 비드 윤곽선 검출을 통해 획득한 비드 영역(B)에서 비드의 폭, 길이 등을 측정하는 계산 알고리즘을 적용하면 비드의 특징 정보를 획득할 수 있다.
그리고 영상 획득부(440)는 S330 단계에서 검출된 용접 비드 영역(B)의 색좌표를 변환시켜 용접 그을음(S) 부분을 제거한다(S340).
자세히는, RGB 색좌표를 CMYK 색좌표로 변환시켜 변환된 CMYK 색좌표 중 용접 비드 부분에 해당하는 C(Cyan)를 추출하여 용접 그을음(S) 부분을 제거한다.
이때, S340단계에서 색좌표 변환으로 용접 그을음(S) 부분이 제거된 영상은 도 4의 (C)와 같이 나타낼 수 있다.
자세히는, RGB 색좌표를 CMYK 색좌표로 변환시키는데, 본 발명의 실시예에서는 CMYK 색좌표 중 C(Cyan)만 사용하여 그을음(S)과 용접 비드 부분을 분리하는 것이 바람직하다.
그 다음 영상 획득부(440)는 S340 단계에서 용접 그을음(S) 부분이 제거된 용접 비드 영역(B)과 나머지 배경 영역을 이진화 처리한 이진화 영상을 획득한다(S350).
이때, S350단계에서 이진화 처리된 이진화 영상은 도 4의 (D)와 같이 영상 내에서 용접 비드 영역(B)만 흰색으로 처리되고, 볼트를 포함한 나머지 영역은 모두 검은색으로 배경 처리된다.
그 다음 용접 비드 인식부(450)는 모폴로지(Morphology) 알고리즘을 이용하여 S350 단계에서 획득된 이진화 영상으로부터 용접 비드를 인식한다(S360).
여기서 모폴로지 알고리즘은 영상의 분리, 영상 처리에 앞선 전처리 과정(노이즈 제거, 특징 추출 등)에서 사용되는 알고리즘으로 공지의 기술이므로 상세한 설명은 생략하기로 한다.
그 다음 판단부(460)는 S360 단계에서 인식된 용접 비드의 특징 정보를 검출하고, 검출된 특징 정보로부터 용접 비드의 형태 이상 여부를 판단한다(S370).
이때 용접 비드의 특징 정보는 용접 비드의 시작점, 끝점, 호(아크)의 길이, 호의 길이 방향을 따라 획득된 복수의 비드 폭(width)에 대한 평균, 최대 및 최소 값 중 적어도 하나를 포함한다.
용접 비드는 호 형상을 가지며, 비드 폭은 비드의 내부 윤곽선과 내부 윤곽선 사이의 거리에 대응한다. 여기서 비드의 외곽 윤곽선은 너트의 중심에 더욱 가까운 내부 윤곽선과 그보다 멀리 있는 외부 윤곽선으로 구분될 수 있다.
따라서 비드 폭은 비드의 호 길이 방향에 대하여 설정 간격으로 측정될 수 있으며 설정 간격으로 획득한 각각의 측정 값으로부터 최대, 최소 및 평균을 구할 수 있다. 비드 폭은 다음과 같은 방식으로 구할 수 있다.
먼저, 검사 대상 시료의 중심점(ex, 너트의 중심점)이 용접 비드의 외부 윤곽선상의 한 점과 만나는 직선을 형성한다. 즉, 비드 외부 윤곽선과 너트 중심이 만나는 직선 방정식을 도출한다. 그리고 직선과 외부 윤곽선이 만나는 점과, 직선과 내부 윤곽선이 만나는 점을 찾고 두 점 간의 거리를 측정하면 비드 폭이 연산된다.
이처럼 직선과 만나는 비드의 내부/외부 외곽선 간 거리를 비드의 폭으로 계산한다. 물론 이러한 과정은 너트의 둘레 방향에 대해 설정 간격으로 수행함으로써 비드 폭의 최대, 최소, 평균 값을 각각 구할 수 있다.
도 5는 본 발명의 실시예에 따른 2D 영상 기반의 용접 비드 인식 장치를 이용한 그을음 제거 방법에서 용접 비드 폭을 설명하기 위한 도면이다.
도 5에서와 같이 비드 폭(w)은 용접 비드 영역(B)의 내/외부 윤곽선 중 외부 윤곽선 상의 복수의 점들을 각각 대상으로, 검사 시료의 중심점과 외부 윤곽선상의 점이 만나는 직선(l)을 형성한 후, 직선(l)과 내부 윤곽선 간 교차점과 직선(l)과 외부 윤곽선 간 교차점 사이의 거리(w)를 구하는 것을 통해 각각 획득할 수 있다.
마지막으로 출력부(470)는 S370 단계의 판단 결과를 디스플레이 화면 또는 외부의 클라이언트로 제공한다(S380).
상술한 바와 같이, 본 발명의 실시예에 따른 2D 영상기반의 용접 비드인식을 위한 그을음 제거 방법은 주변 조도나 외부 간섭 등 외부적인 요인에 의해 발생하는 인식 오차를 최소화함으로써 인식 성능을 향상시킬 수 있고, 용접 시 높은 열에 의해 용접팁과 모재 사이에 발생하는 그을음을 제거함으로써 용접 비드의 인식 성능을 향상시킬 수 있는 효과가 있다.
또한 본 발명의 실시예에 따르면, 현재 비전 인식 시스템에 주로 이용되고 있는 2D 영상을 기반으로 하여 사용 편의성을 향상 시킬 수 있다.
본 발명은 도면에 도시된 실시예를 참고로 하여 설명되었으나 이는 예시적인 것에 불과하며, 당해 기술이 속하는 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 진정한 기술적 보호범위는 아래의 특허청구범위의 기술적 사상에 의하여 정해져야 할 것이다.
100 : 고정용 지그 200 : 비전 카메라
300 : 조명 400 : 용접 비드 인식 장치
410 : 영상 입력부 420 : 전처리부
430 : 영역 검출부 440 : 영상 획득부
450 : 용접 비드 인식부 460 : 판단부
470 : 출력부

Claims (16)

  1. 비전 카메라로부터 촬영된 검사 대상 시료의 2D 영상을 입력받는 영상 입력부;
    상기 입력받은 영상의 관심 영역을 설정하고, 설정된 관심 영역을 전처리하는 전처리부;
    상기 전처리된 관심 영역에서 상기 검사 대상 시료의 용접 비드 영역을 검출하는 영역 검출부;
    상기 검출된 용접 비드 영역의 색좌표를 변환시켜 용접 그을음 부분을 제거하고, 상기 용접 그을음 부분이 제거된 용접 비드 영역과 나머지 배경 영역을 이진화 처리한 이진화 영상을 획득하는 영상 획득부;
    모폴로지(Morphology) 알고리즘을 이용하여 상기 획득된 이진화 영상으로부터 용접 비드를 인식하는 용접 비드 인식부; 및
    상기 인식된 용접 비드의 특징 정보를 검출하고, 검출된 특징 정보로부터 용접 비드의 형태 이상 여부를 판단하는 판단부를 포함하는 용접 비드 인식 장치.
  2. 제1항에 있어서,
    상기 전처리부는,
    상기 관심 영역 내 외부 환경 요인을 제거하기 위한 명암을 조정하고, 가우시안 필터를 이용하여 명암이 조정된 영상의 배경 잡음을 제거하고, 샤프닝 필터를 이용하여 배경 잡음이 제거된 영상에서 윤곽선 성분을 증가시켜 용접 비드 영역의 윤곽선을 강조하는 용접 비드 인식 장치.
  3. 제2항에 있어서,
    상기 외부 환경 요인은 주변 조명, 조도 및 외부 간섭 중 어느 하나 이상을 포함하고,
    다음의 수학식과 같이 적응적 국부 감마 교정(adaptive local gamma correction) 알고리즘을 이용하여 연산되는 적응적 국부 감마 고정된 영상(OALGC(x,y))으로부터 상기 명암을 조정하는 용접 비드 인식 장치:
    Figure pat00003

    여기서, NG는 출력 영상의 최대 명암도 값이고, D(x,y)는 원영상이며, σ(x,y)는 국부적 영역(local region)에 대한 분산값이다.
  4. 제1항에 있어서,
    상기 영상 획득부는,
    상기 검출된 용접 비드 영역의 RGB 색좌표를 CMYK 색좌표로 변환시켜, 상기 변환된 CMYK 색좌표 중 용접 비드 부분에 해당하는 C(Cyan)를 추출하여 상기 용접 그을음 부분을 제거하는 용접 비드 인식 장치.
  5. 제1항에 있어서,
    상기 영상 획득부는,
    상기 용접 그을음 부분이 제거된 영상을 마스킹하고, 상기 마스킹된 영상에서 국부적 평균값을 이용한 적응적 이진화를 수행하여 상기 이진화 영상을 획득하는 용접 비드 인식 장치.
  6. 제1항에 있어서,
    상기 용접 비드의 특징 정보는,
    용접 비드의 시작점, 끝점, 호의 길이, 상기 호의 길이 방향을 따라 획득된 복수의 비드 폭에 대한 평균, 최대 및 최소 값 중 적어도 하나를 포함하는 용접 비드 인식 장치.
  7. 제6항에 있어서,
    상기 판단부는,
    상기 용접 비드의 내/외부 윤곽선 중 외부 윤곽선 상의 복수의 점들을 각각 대상으로, 상기 검사 시료의 중심점과 상기 외부 윤곽선상의 점이 만나는 직선을 형성한 후 상기 직선과 내부 윤곽선 간 교차점과 상기 직선과 외부 윤곽선 간 교차점 사이의 거리를 구하는 것을 통해 상기 복수의 비드 폭을 각각 획득하여 검출된 상기 특징 정보로부터 용접 비드의 형태 이상 여부를 판단하는 용접 비드 인식 장치.
  8. 제1항에 있어서,
    상기 판단 결과를 디스플레이 화면 또는 외부의 클라이언트로 제공하는 출력부를 더 포함하는 용접 비드 인식 장치.
  9. 용접 비드 인식 장치를 이용한 그을음 제거 방법에 있어서,
    비전 카메라로부터 촬영된 검사 대상 시료의 2D 영상을 입력받는 단계;
    상기 입력받은 영상의 관심 영역을 설정하고 설정된 관심 영역을 전처리하는 단계;
    상기 전처리된 관심 영역에서 상기 검사 대상 시료의 용접 비드 영역을 검출하는 단계;
    상기 검출된 용접 비드 영역의 색좌표를 변환시켜 용접 그을음 부분을 제거하는 단계;
    상기 용접 그을음 부분이 제거된 용접 비드 영역과 나머지 배경 영역을 이진화 처리한 이진화 영상을 획득하는 단계;
    모폴로지(Morphology) 알고리즘을 이용하여 상기 획득된 이진화 영상으로부터 용접 비드를 인식하는 단계; 및
    상기 인식된 용접 비드의 특징 정보를 검출하고, 검출된 특징 정보로부터 용접 비드의 형태 이상 여부를 판단하는 단계를 포함하는 그을음 제거 방법.
  10. 제9항에 있어서,
    상기 전처리하는 단계는,
    상기 관심 영역 내 외부 환경 요인을 제거하기 위한 명암을 조정하는 단계,
    가우시안 필터를 이용하여 명암이 조정된 영상의 배경 잡음을 제거하는 단계, 및
    샤프닝 필터를 이용하여 배경 잡음이 제거된 영상에서 윤곽선 성분을 증가시켜 용접 비드 영역의 윤곽선을 강조하는 단계를 포함하는 그을음 제거 방법.
  11. 제10항에 있어서,
    상기 외부 환경 요인은 주변 조명, 조도 및 외부 간섭 중 어느 하나 이상을 포함하고,
    상기 명암을 조정하는 단계는,
    다음의 수학식과 같이 적응적 국부 감마 교정(adaptive local gamma correction) 알고리즘을 이용하여 연산되는 적응적 국부 감마 고정된 영상(OALGC(x,y))으로부터 명암을 조정하는 그을음 제거 방법.
    Figure pat00004

    여기서, NG는 출력 영상의 최대 명암도 값이고, D(x,y)는 원영상이며, σ(x,y)는 국부적 영역(local region)에 대한 분산값이다.
  12. 제9항에 있어서,
    상기 색좌표를 변환시켜 용접 그을음 부분을 제거하는 단계는,
    상기 검출된 용접 비드 영역의 RGB 색좌표를 CMYK 색좌표로 변환시켜, 상기 변환된 CMYK 색좌표 중 용접 비드 부분에 해당하는 C(Cyan)를 추출하여 상기 용접 그을음 부분을 제거하는 그을음 제거 방법.
  13. 제9항에 있어서,
    상기 이진화 영상을 획득하는 단계는,
    상기 용접 그을음 부분이 제거된 영상을 마스킹하고, 상기 마스킹된 영상에서 국부적 평균값을 이용한 적응적 이진화를 수행하여 상기 이진화 영상을 획득하는 그을음 제거 방법.
  14. 제9항에 있어서,
    상기 용접 비드의 특징 정보는,
    용접 비드의 시작점, 끝점, 호의 길이, 상기 호의 길이 방향을 따라 획득된 복수의 비드 폭에 대한 평균, 최대 및 최소 값 중 적어도 하나를 포함하는 그을음 제거 방법.
  15. 제14항에 있어서,
    상기 복수의 비드 폭은,
    상기 용접 비드의 내/외부 윤곽선 중 외부 윤곽선 상의 복수의 점들을 각각 대상으로, 상기 검사 시료의 중심점과 상기 외부 윤곽선상의 점이 만나는 직선을 형성한 후 상기 직선과 내부 윤곽선 간 교차점과 상기 직선과 외부 윤곽선 간 교차점 사이의 거리를 구하는 것을 통해 각각 획득되는 그을음 제거 방법.
  16. 제9항에 있어서,
    상기 판단 결과를 디스플레이 화면 또는 외부의 클라이언트로 제공하는 단계를 더 포함하는 그을음 제거 방법.
KR1020180043478A 2017-04-13 2018-04-13 2d 영상 기반의 용접 비드 인식 장치 및 그것을 이용한 그을음 제거 방법 KR102043316B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020170048003 2017-04-13
KR20170048003 2017-04-13

Publications (2)

Publication Number Publication Date
KR20180115645A true KR20180115645A (ko) 2018-10-23
KR102043316B1 KR102043316B1 (ko) 2019-11-12

Family

ID=64101635

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180043478A KR102043316B1 (ko) 2017-04-13 2018-04-13 2d 영상 기반의 용접 비드 인식 장치 및 그것을 이용한 그을음 제거 방법

Country Status (1)

Country Link
KR (1) KR102043316B1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109685788A (zh) * 2018-12-22 2019-04-26 北京工业大学 一种基于形态学特征的楼面缺陷图像自动检测方法
CN111402222A (zh) * 2020-03-11 2020-07-10 苏州杰锐思智能科技股份有限公司 一种高频电感焊盘质量检测方法及系统
CN111862010A (zh) * 2020-07-03 2020-10-30 河南中烟工业有限责任公司 一种基于线性高斯滤波的卷烟包灰性能检测方法
CN112132807A (zh) * 2020-09-23 2020-12-25 泉州装备制造研究所 一种基于颜色相似度分割的焊缝区域提取方法和装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070005968A (ko) * 2005-07-05 2007-01-11 삼성중공업 주식회사 용접부 결함 검출 방법 및 장치
KR20160148850A (ko) * 2015-06-17 2016-12-27 한밭대학교 산학협력단 교통신호등의 특징점 추출에 기초한 교통신호등의 검출과 인식 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070005968A (ko) * 2005-07-05 2007-01-11 삼성중공업 주식회사 용접부 결함 검출 방법 및 장치
KR20160148850A (ko) * 2015-06-17 2016-12-27 한밭대학교 산학협력단 교통신호등의 특징점 추출에 기초한 교통신호등의 검출과 인식 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
김용하, 외3, "라인 레이저를 이용한 원통 부착물의 심도 측정", 멀티미디어학회논문지 2017.02.* *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109685788A (zh) * 2018-12-22 2019-04-26 北京工业大学 一种基于形态学特征的楼面缺陷图像自动检测方法
CN109685788B (zh) * 2018-12-22 2020-10-30 北京工业大学 一种基于形态学特征的楼面缺陷图像自动检测方法
CN111402222A (zh) * 2020-03-11 2020-07-10 苏州杰锐思智能科技股份有限公司 一种高频电感焊盘质量检测方法及系统
CN111862010A (zh) * 2020-07-03 2020-10-30 河南中烟工业有限责任公司 一种基于线性高斯滤波的卷烟包灰性能检测方法
CN112132807A (zh) * 2020-09-23 2020-12-25 泉州装备制造研究所 一种基于颜色相似度分割的焊缝区域提取方法和装置
CN112132807B (zh) * 2020-09-23 2024-02-23 泉州装备制造研究所 一种基于颜色相似度分割的焊缝区域提取方法和装置

Also Published As

Publication number Publication date
KR102043316B1 (ko) 2019-11-12

Similar Documents

Publication Publication Date Title
KR102043316B1 (ko) 2d 영상 기반의 용접 비드 인식 장치 및 그것을 이용한 그을음 제거 방법
KR102027986B1 (ko) 비전 카메라를 이용한 비드 인식 장치 및 그 방법
WO2017141611A1 (ja) 欠陥検出装置、欠陥検出方法およびプログラム
CN110378902B (zh) 一种高噪声背景下的划痕检测方法
CN110596116A (zh) 一种车辆表面瑕疵检测方法及检测系统
JP2014066657A (ja) 自動車車体の表面検査装置および表面検査方法
CN111275659B (zh) 一种焊缝图像处理方法、装置、终端设备及存储介质
JP2014020926A (ja) 表面欠陥検査装置及び表面欠陥検査方法
KR100687811B1 (ko) 용접부 결함 검출 방법 및 장치
KR102242996B1 (ko) 자동차 사출제품의 비정형 불량 검출 방법
JP4279833B2 (ja) 外観検査方法及び外観検査装置
KR102012318B1 (ko) 영상센서를 이용한 용접 품질 전수 검사 장치 및 그 방법
WO2022222467A1 (zh) 开口圆环工件外观缺陷检测方法、系统及计算机存储介质
JP2002148195A (ja) 表面検査装置及び表面検査方法
CN111999305A (zh) 机器视觉硬件系统和轮毂花键结合缝隙视觉检测方法
JP4322230B2 (ja) 表面欠陥検査装置及び表面欠陥検査方法
CN111879789A (zh) 金属表面缺陷检测方法及系统
KR20170127883A (ko) 영상 기반의 용접 비드 검출 방법
CN113916893A (zh) 模切产品缺陷的检测方法
Fan et al. An automatic machine vision method for the flaw detection on car's body
CN111833350A (zh) 机器视觉检测方法与系统
CN112150375A (zh) 带检查系统、带检查方法和带检查程序的存储介质
JPH06207909A (ja) 表面欠陥検査装置
JP4115378B2 (ja) 欠陥検出方法
JP4820971B2 (ja) 表面検査方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant