KR102027986B1 - 비전 카메라를 이용한 비드 인식 장치 및 그 방법 - Google Patents

비전 카메라를 이용한 비드 인식 장치 및 그 방법 Download PDF

Info

Publication number
KR102027986B1
KR102027986B1 KR1020180043479A KR20180043479A KR102027986B1 KR 102027986 B1 KR102027986 B1 KR 102027986B1 KR 1020180043479 A KR1020180043479 A KR 1020180043479A KR 20180043479 A KR20180043479 A KR 20180043479A KR 102027986 B1 KR102027986 B1 KR 102027986B1
Authority
KR
South Korea
Prior art keywords
bead
image
region
weld bead
vision camera
Prior art date
Application number
KR1020180043479A
Other languages
English (en)
Other versions
KR20180115646A (ko
Inventor
박재률
유종호
김주영
Original Assignee
재단법인 경북아이티융합 산업기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 재단법인 경북아이티융합 산업기술원 filed Critical 재단법인 경북아이티융합 산업기술원
Publication of KR20180115646A publication Critical patent/KR20180115646A/ko
Application granted granted Critical
Publication of KR102027986B1 publication Critical patent/KR102027986B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G06K9/20
    • G06K9/38
    • G06K9/40
    • G06K9/46
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/12Details of acquisition arrangements; Constructional details thereof
    • G06V10/14Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/28Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/30Noise filtering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Analytical Chemistry (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 비전 카메라를 이용한 비드 인식 장치 및 그 방법에 관한 것이다. 본 발명에 따르면, 2D 카메라를 통해 검사 시료를 포함한 영상을 입력받는 입력부와, 상기 영상에 관심 영역을 설정하고 상기 관심 영역을 그레이 영상으로 변환하는 영상 처리부와, 상기 관심 영역에서 상기 검사 시료의 용접 비드 영역을 검출하는 비드 영역 추출부와, 상기 관심 영역 내 상기 용접 비드 영역과 나머지 배경 영역을 이진화 처리한 이진화 영상으로부터 용접 비드의 특징 정보를 검출하고, 검출된 특징 정보로부터 용접 비드의 형태 이상 여부를 판단하는 제1 검출부, 및 상기 이진화 영상과 상기 그레이 영상을 결합한 영상으로부터 용접 비드 내 홀(Hole)이나 언더컷(UnderCut)의 발생 여부 또는 발생 위치를 판단하는 제2 검출부를 포함하는 비전 카메라를 이용한 비드 인식 장치를 제공한다.
본 발명에 따르면, 비전 카메라의 영상을 이용하여 용접 비드의 검출 성능과 데이터 처리 속도를 높이는 동시에 불량 검사의 판별 오차를 줄일 수 있는 이점이 있다.

Description

비전 카메라를 이용한 비드 인식 장치 및 그 방법{Bead recognition apparatus using vision camera and method thereof}
본 발명은 비전 카메라를 이용한 비드 인식 장치 및 그 방법에 관한 것으로서, 보다 상세하게는 용접 비드의 검출 성능을 높일 수 있는 비전 카메라를 이용한 비드 인식 장치 및 그 방법에 관한 것이다.
용접부의 품질 검사는 샘플 검사 및 전수 검사가 이루어지고 있으며, 대부분의 전수 검사는 육안을 통한 외관 검사를 통해 수행되고 있다. 숙련된 기술자는 육안 검사를 통해 용접 결함을 검출할 수 있으나, 보통의 경우 기술 숙련에 많은 어려움이 있으며, 기술자에 따라 편차가 있다.
안정성 및 품질에 많은 영향을 받는 자동차 업계에서 용접부의 불량은 사고 인명에 치명적이며, 자동차 외관 및 품질에서도 많은 영향을 미친다. 최근 선진 자동차 업체들은 용접부의 비전을 이용한 외관 검사 장비를 도입하여 검사하고 있으며, 2D 또는 3D 기반의 검사 시스템을 적용하여 기술자에 따른 불량검출의 편차를 줄이고 있다.
비전검사는 주로 3D 기반의 검사장비가 많이 이용되고 있으며, 3D 기반의 검사 방식은 제품의 3차원 형상을 스캔하고 이를 기반으로 검사를 수행한다. 하지만, 3D 기반의 검사 방법은 형상만으로 제품을 검사하므로 제품과 용접부의 경계 구분이 어렵고, 많은 양의 데이터를 처리함으로 인해 제품 검사에 많은 시간이 소요되므로, 생산 라인에서 전수 검사용으로 사용하기에는 많은 문제점이 있다.
본 발명의 배경이 되는 기술은 한국공개특허 제2009-0074964호(2009.07.08 공개)에 개시되어 있다.
본 발명은 용접 비드의 검출 성능을 높일 수 있는 비전 카메라를 이용한 비드 인식 방법을 제공하는데 목적이 있다.
본 발명은, 2D 카메라를 통해 검사 시료를 포함한 영상을 입력받는 입력부와, 상기 영상에 관심 영역을 설정하고 상기 관심 영역을 그레이 영상으로 변환하는 영상 처리부와, 상기 관심 영역에서 상기 검사 시료의 용접 비드 영역을 검출하는 비드 영역 추출부와, 상기 관심 영역 내 상기 용접 비드 영역과 나머지 배경 영역을 이진화 처리한 이진화 영상으로부터 용접 비드의 특징 정보를 검출하고, 검출된 특징 정보로부터 용접 비드의 형태 이상 여부를 판단하는 제1 검출부, 및 상기 이진화 영상과 상기 그레이 영상을 결합한 영상으로부터 용접 비드 내 홀(Hole)이나 언더컷(UnderCut)의 발생 여부 또는 발생 위치를 판단하는 제2 검출부를 포함하는 비전 카메라를 이용한 비드 인식 장치를 제공한다.
또한, 상기 용접 비드의 특징 정보는, 용접 비드의 시작점, 끝점, 호의 길이, 상기 호의 길이 방향을 따라 획득된 복수의 비드 폭에 대한 평균, 최대 및 최소 값 중 적어도 하나를 포함할 수 있다.
또한, 상기 제1 검출부는, 상기 용접 비드의 내/외부 윤곽선 중 외부 윤곽선 상의 복수의 점들을 각각 대상으로, 상기 검사 시료의 중심점과 상기 외부 윤곽선상의 점이 만나는 직선을 형성한 후 상기 직선과 내부 윤곽선 간 교차점과 상기 직선과 외부 윤곽선 간 교차점 사이의 거리를 구하는 것을 통해 상기 복수의 비드 폭을 각각 획득할 수 있다.
또한, 상기 제2 검출부는, 상기 이진화 영상 내의 상기 용접 비드 영역에 대응하는 흰색 영역을 상기 그레이 영상 내 해당 영역의 영상으로 채우는 방식으로 상기 이진화 영상과 상기 그레이 영상을 결합할 수 있다.
또한, 상기 제1 검출부는, 상기 용접 비드의 특징 정보를 기 설정된 기준 정보와 비교하여 상기 용접 비드의 형태 이상 여부를 판단하고, 상기 제2 검출부는, 로부터 수신한 상기 홀 또는 언더컷의 깊이 값을 기 설정된 각각의 기준 값과 비교하여 상기 홀 또는 언더컷의 깊이 이상 여부를 판단할 수 있다.
또한, 상기 비드 인식 장치는, 상기 형태 및 상기 깊이 모두 정상이면 상기 용접 비드를 정상으로 판단하고, 상기 형태 및 상기 깊이 중 적어도 하나가 이상이면, 상기 용접 비드를 불량으로 판단하는 판단부, 및 상기 판단 결과를 디스플레이 화면 또는 외부의 클라이언트로 제공하는 출력부를 더 포함할 수 있다.
그리고, 본 발명은, 비전 카메라를 이용한 비드 인식 장치에서의 비드 인식 방법에 있어서, 2D 카메라를 통해 검사 시료를 포함한 영상을 입력받는 단계와, 상기 영상에 관심 영역을 설정하고 상기 관심 영역을 그레이 영상으로 변환하는 단계와, 상기 관심 영역에서 상기 검사 시료의 용접 비드 영역을 검출하는 단계와, 상기 관심 영역 내 상기 용접 비드 영역과 나머지 배경 영역을 이진화 처리한 이진화 영상으로부터 용접 비드의 특징 정보를 검출하고, 검출된 특징 정보로부터 용접 비드의 형태 이상 여부를 판단하는 단계, 및 상기 이진화 영상과 상기 그레이 영상을 결합한 영상으로부터 용접 비드 내 홀(Hole)이나 언더컷(UnderCut)의 발생 여부 또는 발생 위치를 판단하는 단계를 포함하는 비전 카메라를 이용한 비드 인식 방법을 제공한다.
또한, 상기 비드 인식 방법은, 로부터 수신한 상기 홀 또는 언더컷의 깊이 값을 기 설정된 각각의 기준 값과 비교하여 상기 홀 또는 언더컷의 깊이 이상 여부를 판단하는 단계를 더 포함하고, 상기 형태 이상 여부를 판단하는 단계는, 상기 용접 비드의 특징 정보를 기 설정된 기준 정보와 비교하여 상기 용접 비드의 형태 이상 여부를 판단할 수 있다.
또한, 상기 비드 인식 방법은, 상기 형태 및 상기 깊이 모두 정상이면 상기 용접 비드를 정상으로 판단하고, 상기 형태 및 상기 깊이 중 적어도 하나가 이상이면, 상기 용접 비드를 불량으로 판단하는 단계, 및 상기 판단 결과를 디스플레이 화면 또는 외부의 클라이언트로 제공하는 단계를 더 포함할 수 있다.
본 발명에 따르면, 비전 카메라의 영상을 이용하여 용접 비드의 검출 성능과 데이터 처리 속도를 높이는 동시에 불량 검사의 판별 오차를 줄일 수 있는 이점이 있다.
도 1은 본 발명의 실시예에 따른 비드 인식 시스템을 나타낸 도면이다.
도 2는 도 1의 고정용 지그에 장착되는 검사 시료를 예시한 도면이다.
도 3은 본 발명의 실시예에 따른 비드 인식 장치의 구성을 나타낸 도면이다.
도 4는 본 발명의 실시예에서 관심 영역을 이진화 처리한 결과를 나타낸 도면이다.
도 5는 본 발명의 실시예에서 비드 폭을 연산하는 원리를 나타낸 도면이다.
도 6은 도 4의 두 영상을 결합한 결과를 나타낸 도면이다.
도 7은 도 3의 비드 인식 장치를 이용한 비드 인식 방법을 설명하는 도면이다.
그러면 첨부한 도면을 참고로 하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다.
도 1은 본 발명의 실시예에 따른 비드 인식 시스템을 나타낸 도면이다.
도 1에 나타낸 것과 같이, 본 발명의 실시예에 따른 비드 인식 시스템은 고정용 지그(100), 2D 카메라(200), 조명(300), 그리고 비드 인식 장치(400)를 포함한다.
고정용 지그(100)는 검사 대상 시료(이하, 검사 시료)를 장착한다. 비드 인식 알고리즘의 정확도와 신뢰성을 위해서는 검사 시료를 고정하는 고정용 지그(100)의 고정 상태가 중요하다. 이러한 고정용 지그(100)에는 검사 시료 이외에도, 검사 시료를 촬영하기 위한 2D 카메라(200) 및 조명(300)이 장착될 수 있다.
도 2는 도 1의 고정용 지그에 장착되는 검사 시료를 예시한 도면이다. 이러한 도 2는 용접용 너트를 포함한 시료를 대표적으로 예시하고 있다.
용접용 너트는 차량의 차체 등에 용접되어 각종 부품과 내장재들을 고정하는데 사용된다. 도 2에 도시된 것과 같이, 너트의 둘레 일부분(양측)에는 호 형상의 용접 비드가 형성된다.
이와 같이, 본 발명의 실시예에서 검사 시료란, 용접용 너트 등의 용접 부품(용접물)을 포함한 시료에 해당할 수 있다. 물론, 본 발명의 실시예는 용접 상태(용접 비드) 검사가 필요한 다양한 대상 시료에 대해 적용될 수 있다.
2D 카메라(200)는 고정용 지그(100)에 장착되어 있는 검사 시료를 촬영하여 촬영 영상을 획득한다. 조명(300)은 대상 시료를 향해 조명을 조사하여 2D 카메라(200)의 영상 품질을 높인다.
도 2의 경우 단지 검사 시료의 예시를 위해 검사 시료를 사시적 측면에서 바라본 영상을 보여주고 있다. 실질적으로 2D 카메라(200)는 용접 비드의 인식 정확도를 위해, 검사 시료를 상부에서 수직으로 내려다 보는 각도로 촬영한 영상을 획득하는 것이 바람직하다.
본 발명의 실시예는 용접 비드의 길이, 폭, 높이 등의 검출 오차를 줄이기 위하여 해상도가 1920×1200(Full HD급)인 비전 카메라를 사용할 수 있으며, 외부 조명 환경에 의해 발생되는 비드 인식 오차를 줄이기 위해 무영등 방식으로 제작된 조명을 사용하여 영상을 획득할 수 있다.
비드 인식 장치(400)는 2D 카메라(200)의 촬영 영상으로부터 용접 비드를 검출하고 인식할 수 있으며, 용접 비드에 대한 각종 계측값, 불량 상태 등을 검사하여 클라이언트에게 통보할 수 있다. 클라이언트는 관리자, 사용자 등이 접근 가능한 PC, 데스크탑(Desktop), 노트북(Notebook), 스마트 폰(Smart phone), 스마트 패드(Smart Pad), 태블릿 PC(Tablet PC) 등의 사용자 단말기를 포함할 수 있다.
도 3은 본 발명의 실시예에 따른 비드 인식 장치의 구성을 나타낸 도면이다. 도 3에 나타낸 것과 같이, 본 발명의 실시예에 따른 비드 인식 장치(400)는 입력부(410), 영상 처리부(420), 비드 영역 추출부(430), 제1 검출부(440), 제2 검출부(450), 판단부(460), 출력부(470)를 포함한다.
입력부(410)는 2D 카메라(200)를 통해 검사 시료를 포함한 영상을 입력받는다. 이하에서는 검사 시료의 중심(ex, 너트 중심)을 기준으로 좌우 양쪽에 각각 용접 비드가 있는 것을 가정하여 설명한다.
영상 처리부(420)는 영상에 관심 영역(ROI; Region Of Interest)을 설정하고, 관심 영역을 그레이 영상으로 변환하는 전처리를 수행한다. 여기서, 관심 영역은 영상 내에서 검사 시료 부분을 포함하는 영역 또는 검사 시료 내의 용접용 너트 부분을 포함하는 영역 등을 의미할 수 있다.
영상의 전처리는 컬러(RGB) 영상을 그레이(Gray) 영상으로 변환하는 색공간 변환(RGB→Gray), 영상 내 잡음을 제거하는 잡음 제거 등을 포함할 수 있다. 변환된 그레이 영상의 각 픽셀들은 0과 255 사이의 그레이 스케일 값의 범위(0≤G≤255)를 가질 수 있다. G 값이 커질수록 밝은 것을 나타내므로, G=255인 픽셀은 흰색, G=0인 픽셀은 검정색을 나타낸다.
잡음 제거는 조명 및 외부 환경에 의해 발생될 수 있는 영상 내 존재하는 가우시안 노이즈(Gaussian noise)를 제거하는 필터링 과정을 나타낸다. 노이즈 필터링 시에 2차원 가우시안 커널(Gaussian kernel)을 사용하면 조명에 의해 발생되는 영상 내 가우시안 노이즈를 제거할 뿐만 아니라 그림자 혹은 빛에 의한 외부 영향을 감소시킨다. 물론, 잡음 제거를 위해 가우시안 필터즈(Gaussian Filter), 미디언 필터(Median Filter) 등을 사용할 수 있다.
비드 영역 추출부(430)는 전처리된 관심 영역에서 검사 시료의 용접 비드 영역을 검출한다. 도 2에서와 같이 용접 비드 영역은 용접 너트의 둘레에 위치하며 호 형상을 가진다. 이러한 점을 이용하면 관심 영역 내에서 검사 시료에 대한 용접 비드 영역을 윤곽선 검출 기법을 통해 검출할 수 있다.
물론, 비드 영역 추출부(430)는 관심 영역으로부터 검사 시료의 너트 부분 영역과 그 주변의 비드 영역을 구분하여 검출할 수 있다. 예를 들어, 비드 영역 추출부(430)는 관심 영역 내에서 너트의 꼭지점 등과 같은 특징점들을 추출하여 너트의 둘레 및 형상을 인식할 수 있으며, 너트 주변에 비드 외곽 윤곽선 검출 알고리즘을 적용하여 비드 윤곽선(Bead Edge)을 검출할 수 있고 비드 윤곽선으로 이루어진 용접 비드 영역을 검출할 수 있다.
물론, 획득한 용접 비드 영역에서 비드의 폭, 길이 등을 측정하는 계산 알고리즘을 적용하면 비드의 특징 정보를 획득할 수 있다.
제1 검출부(440)는 관심 영역 내 용접 비드 영역과 나머지 배경 영역을 이진화 처리한 이진화 영상으로부터 용접 비드의 특징 정보를 검출하며, 검출된 특징 정보로부터 용접 비드의 형태 이상 여부를 판단할 수 있다.
여기서, 이진화 처리는 영상 처리부(420)에서 수행할 수 있다. 영상 처리부(420)는 초기의 입력 영상에 대한 전처리 이외에도, 관심 영역 내 검출된 용접 비드 영역을 나머지 영역과 구분하기 위한 이진화 처리를 수행한다.
도 4는 본 발명의 실시예에서 관심 영역을 이진화 처리한 결과를 나타낸 도면이다. 도 4의 (a)는 그레이 영상, (b)는 이진화 영상을 각각 나타낸다.
영상 처리부(420)는 컬러 영상을 색변환하여 도 4의 (a)와 같은 그레이 영상을 획득하고, 비드 영역 추출부(430)는 획득된 그레이 영상에 윤곽선 검출 기법을 적용하여 그레이 영상 내에서 용접 비드 영역을 검출하게 된다.
영상 처리부(420)는 앞서 검출된 용접 비드 영역 내 속한 픽셀들을 흰색(G=255)으로 처리하고, 그 밖의 픽셀들은 모두 검은색(G=0)으로 처리함으로써, 도 4의 (b)와 같은 이진화 영상을 획득할 수 있다. 결과적으로, 이진화 처리를 통해 영상 내에서 용접 비드 영역만 흰색으로 처리되고, 볼트를 포함한 나머지 영역은 모두 검은색으로 배경 처리된다.
제1 검출부(440)는 이진화 영상으로부터 용접 비드의 특징 정보를 검출한다. 여기서, 용접 비드의 특징 정보는, 용접 비드의 시작점, 끝점, 호의 길이, 호의 길이 방향을 따라 획득된 복수의 비드 폭에 대한 평균, 최대 및 최소 값 중 적어도 하나를 포함할 수 있다.
여기서, 용접 비드의 시작점과 끝점이란, 호의 길이 방향에 대한 시작과 끝 부분에 대응한다. 또한 비드 폭은 비드(호)의 길이 방향을 따라 설정 간격으로 측정될 수 있으며, 각각의 측정 결과를 이용하여 비드 폭의 평균, 최소 및 최대 값을 제공할 수 있다.
도 5는 본 발명의 실시예에서 비드 폭을 연산하는 원리를 나타낸 도면이다.
도 5에서와 같이, 비드는 호 형상을 가지며 비드 폭은 비드의 내부 윤곽선과 내부 윤곽선 사이의 거리에 대응하는 것을 알 수 있다. 비드의 외곽 윤곽선은 너트의 중심에 더욱 가까운 내부 윤곽선과, 그보다 멀리 있는 외부 윤곽선으로 구분될 수 있다.
비드 폭 연산을 위해, 먼저 검사 시료(너트)의 중심점(C)이 용접 비드의 외부 윤곽선 상의 한 점(A)과 만나는 직선을 형성한다. 즉, 비드 외부 윤곽선과 너트 중심이 만나는 직선 방정식을 도출한다. 그리고 직선과 외부 윤곽선이 만나는 점(A)과, 직선과 내부 윤곽선이 만나는 점(B)을 찾고 두 점 간의 직선상 거리를 측정하면 비드 폭(W)이 연산된다.
따라서, 본 발명의 실시예에서, 제1 검출부(440)는 용접 비드 영역에 대한 외부 윤곽선 상의 복수의 점(A)들을 각각 대상으로, 검사 시료(용접 너트)의 중심점(C)과 외부 윤곽선상의 점(A)이 만나는 직선을 형성한 후, 직선과 두 윤곽선 간 교차점 즉, A-B 간의 거리를 구함으로써, 복수의 비드 폭(w)을 각각 획득할 수 있다. 이러한 과정은 호의 길이 방향을 따라 순차적으로 수행할 수 있다.
또한, 제1 검출부(440)는 용접 비드의 특징 정보를 기초로 용접 비드의 형태 이상 여부를 판단한다. 구체적으로, 제1 검출부(440)는 용접 비드의 특징 정보를 기 설정된 기준 정보와 비교한 결과를 기초로 용접 비드의 형태 이상 여부를 판단할 수 있다.
예를 들어, 호의 길이가 기준 범위를 이탈한 경우, 비드 폭의 최소값 또는 그 평균값이 기준값보다 작은 경우 등과 같이, 앞서 나열한 복수의 특징 정보 중 적어도 하나의 특징 정보가 그에 대한 기준 범위나 기준 값을 이탈한 경우에, 용접 비드 형태에 이상이 있다고 판단할 수 있다
제1 검출부(450)는 그레이 영상과 이진화 영상을 결합한 영상으로부터 용접 비드 내 홀(Hole)이나 언더컷(UnderCut)의 발생 여부 또는 발생 위치를 판별한다. 홀은 비드 내 구멍난 부분을 의미하고, 언더컷은 비드 표면으로부터 움푹 패인 부분을 의미한다.
도 6은 도 4의 두 영상을 결합한 결과를 나타낸 도면이다. 도 6을 참조하면, 제2 검출부(450)는 도 4에 도시된 (a)와 (b)를 상호 결합하는 것을 통해 도 6과 같은 영상을 얻을 수 있으며, 도 6의 영상을 이용하여 용접 비드 상의 홀 또는 언더컷의 발생 여부와 발생 위치를 판별할 수 있다.
여기서, 제2 검출부(450)는 이진화 영상 내의 흰색 영역(용접 비드 영역)을 그레이 영상 내 해당 영역의 영상으로 채우는 방식으로 두 영상을 결합시키는 것을 알 수 있다.
이를 위한 방법으로는, 도 4의 (a),(b) 영상 내 동일 위치의 두 픽셀의 그레이 스케일 값을 비교하여 더 어두운 즉, 낮은 그레이 스케일 값의 픽셀을 선택하게 되면 도 6과 같은 영상이 얻어진다. 물론, 간단하는 도 4의 (b)에서 흰색 영역을 도려낸 이진화 영상의 하면에 도 4의 (a)의 그레이 영상을 적층하면, 도려낸 부위를 통해 그레이 영상의 해당 영역 부분만 노출되게 되어 도 6과 동일한 결과가 도출될 수 있다.
제2 검출부(450)는 이러한 도 6의 영상을 다시 적응 이진화(Adaptive Binarization) 처리한 후에, 가우시안 및 모폴로지 필터 알고리즘 등을 사용하여 영상에서 잡음을 제거한다. 적응 이진화 처리를 통해 용접 비드 내의 홀 또는 언더컷 부위가 정밀하게 검출되거나 부각될 수 있다. 이러한 적응 이전화 처리는 이미지 처리 분야에서 기 공지된 방법이므로 상세한 설명은 생략한다.
제2 검출부(450)는 적응 이진화 처리 및 잡음 제거 완료된 영상을 이용하여 홀 또는 언더컷의 발생 여부 및 발생 위치를 판별한다. 이때, 직교 및 극좌표 알고리즘을 이용하여 홀 또는 언더컷의 발생 위치를 판별할 수 있다. 직교 및 극좌표 알고리즘은 위치, 각도, 방향 등의 검출에 사용되며 기 공지된 기법에 해당하므로 상세한 설명을 생략한다.
만일, 홀이나 언더컷이 존재하지 않으면 용접 상태가 양호할 가능성이 높지만, 홀이나 언더컷이 존재하는 경우에는 용접 불량일 가능성도 있다. 하지만, 홀이나 언더컷이 존재하는 경우에도 깊이가 임계 이하라면 양호한 상태로 볼 수도 있다.
또한, 제2 검출부(450)는 깊이 측정 센서를 이용하여 홀 또는 언더컷의 깊이 이상 여부를 판단할 수 있다. 여기서, 깊이 측정 센서는 비드 인식 장치(100) 내 포함될 수도 있고 외부에 연결될 수 있다. 깊이 측정 센서는 레이저 센서, 적외선 센서, 3D 스캐너 등을 포함할 수 있다.
구체적으로, 제2 검출부(450)는 깊이 측정 센서로부터 수신한 홀 또는 언더컷의 깊이 값을 기 설정된 각각의 기준 값과 비교한 결과를 기초로 홀 또는 언더컷의 깊이 이상 여부를 판단할 수 있다. 예를 들어, 언더컷의 깊이가 기준 값보다 클 경우에 언더컷의 깊이에 이상이 있다고 판단할 수 있다.
판단부(460)는 제1 검출부(440) 및 제2 검출부(450)로부터 전달받은 정보를 기초로 용접 비드의 불량 여부를 판단한다. 즉, 판단부(460)는 용접 비드의 형태 및 홀/언더컷의 깊이 모두 정상이면 용접 비드를 정상(용접 정상)으로 판단하고, 형태 또는 깊이 중 어느 하나라도 이상이 있으면, 용접 비드를 불량(용접 불량)으로 판단한다.
이와 같이, 본 발명의 실시예는 용접 비드 영역의 특징 정보를 기반으로 획득한 형태적 이상 여부와, 용접 비드 영역 내 홀 또는 언더 컷의 깊이를 기반으로 획득한 깊이 이상 여부를 확인한 후에, 두 가지 중 어느 하나라도 이상이면 용접 불량으로 판단하여 그 결과를 제공할 수 있다.
출력부(470)는 판단부(460)에 의한 판단 결과를 디스플레이 화면 또는 외부의 클라이언트로 제공한다. 즉, 출력부(470)는 비드 인식 장치(400)의 디스플레이 화면 상에 판단 결과를 직접 출력할 수 있고, 유무선 네트워크 연결된 클라이언트(사용자 단말)로 판단 결과를 전달 또는 전송할 수도 있다.
물론, 출력부(470)는 검사 시료에서 추출한 용접 비드의 특징 정보, 홀이나 언더컷의 발생 여부, 발생 위치, 용접 비드의 형태 이상 여부, 홀/ 언터컷의 깊이 이상 여부 등의 정보를 출력할 수 있다.
도 7은 도 3의 비드 인식 장치를 이용한 비드 인식 방법을 설명하는 도면이다.
먼저, 입력부(410)는 2D 카메라를 통해 검사 시료를 포함한 영상을 입력받는다(S710).
다음, 영상 처리부(420)는 영상에 관심 영역(ROI)을 설정한다(S711). 그리고 영상 처리부(420)는 관심 영역을 전처리하는데, 구체적으로 색공간 변환(RGB->Gray)을 통해 관심 영역의 영상을 도 4의 (a)와 같은 그레이 영상으로 변환한 다음, 잡음 제거 필터(가우시안 필터, 미디언 필터 등)를 적용하여 영상 내 잡음을 제거한다(S712).
이후, 비드 영역 추출부(430)는 도 4의 (a)와 같이 그레이 영상으로 변환된 관심 영역 내에서 검사 시료의 존재를 판별한 다음 윤곽선 검출 기법 등을 통해 관심 영역 내에서 용접 비드 영역을 검출한다(S713).
물론, 비드 영역 추출부(430)는 앞서 설명한 바와 같이, 너트의 꼭지점 추출 및 윤곽선 검출을 이용하여 검사 시료의 너트 부분과 너트 외곽의 용접 비드 영역을 구분하여 검출할 수 있다.
또한, 영상 처리부(420)는 비드 영역 추출부(430)에 의해 검출된 용접 비드 영역 내 속한 픽셀들을 '1'로, 나머지 영역을 '0'으로 이진화 처리하며, '1'의 화소에 대해 흰색(G=255)을 적용하고, '0'의 화소에 대해 검정색(G=0)을 적용하여, 도 4의 (b)와 같은 이진화 영상을 획득한다(S714).
이후, 비드 인식 장치(400)는 이진화 영상으로부터 측정한 용접 비드의 특징 값들을 기초로 용접 비드의 형태 이상 여부를 판단하는 제1 과정(S720~S723)과, 이진화 영상과 그레이 영상을 결합한 영상으로부터 홀과 언더컷을 검출하고 홀과 언더컷의 깊이 이상 여부를 판단하는 과정(S730~S734)을 진행한다. 물론, 이 두 과정은 동시에 병렬적으로 수행되거나, 순차적으로 수행될 수도 있다.
우선, 제1 검출부(440)는 이진화 영상으로부터 용접 비드의 특징 정보를 검출한다(S720~722). 구체적으로, 제1 검출부(440)는 용접 비드의 시작점, 끝점을 탐색하고(S720), 탐색된 시작점과 끝점을 이용하여 비드의 호(아크) 길이를 계산하며(S721), 도 5의 기법을 이용하여 비드 폭의 평균/최대/최소값을 각각 획득한다(S722).
여기서, S722 단계는 직선과 만나는 비드의 내부/외부 외곽선 간 거리(a-b 간 거리)를 비드의 폭(w)으로 계산할 수 있다. 물론, 이러한 과정은 너트의 둘레 방향에 대해 설정 간격으로 수행함으로써 비드 폭의 최대, 최소, 평균 값을 각각 구할 수 있다.
이후, 제1 검출부(440)는 검출된 용접 비드의 특징 정보를 기 설정된 기준 정보와 비교하여 용접 비드의 형태 이상 여부를 판단한다(S723).
제2 검출부(450)는 이진화 영상과 그레이 영상을 결합하여 얻은 영상을 이용하여 용접 비드 내의 홀 또는 언더컷의 발생 여부를 판별한다(S730~S733). 구체적으로 제2 검출부(450)는 도 4의 (a)와 (b)를 결합하여 도 6의 영상을 얻는다(S730). 그리고 얻은 영상을 적응 이진화 처리한 다음 가우시안 및 모폴로지 필터 알고리즘 등을 사용하여 영상에서 잡음을 제거한다(S731).
이후, 제2 검출부(450)는 잡음이 제거된 영상에서 홀 또는 언더컷의 발생 여부를 판별하고(S732), 홀 또는 언더컷이 발견된 경우 발견된 위치를 파악한다(S733). 이때, 직교 및 극좌표 알고리즘을 이용하여 홀 또는 언더컷의 위치를 판별할 수 있다.
여기서, 제2 검출부(450)는 홀 또는 언더컷이 발견된 경우에는 깊이 측정 센서로부터 수신한 해당 홀 또는 언더컷의 깊이 값을 기 설정된 각각의 기준 값과 비교하는 것을 통해, 홀 또는 언더컷의 깊이 이상 여부를 판단한다(S734). 즉, 홀이나 언더컷이 발견된 경우에는 별도의 깊이 측정 센서를 이용하여 그 깊이를 측정하고 깊이 이상 여부를 판단한다.
이후, 판단부(460)는 S723 및 S734 단계의 결과를 이용하여 용접 불량 여부를 판단하고(S740), 출력부(470)는 판단 결과를 출력한다(S750).
판단부(460)는 형태 및 깊이 중 어느 하나라도 이상 상태인 경우에 용접 비드의 불량으로 판단한다. 물론, 판단부(460)는 용접 비드 형태가 정상인 동시에 홀이나 언더컷이 전혀 발견되지 않은 경우에는 용접 정상이나 양호로 판단할 수 있으며, 용접 비드 형태가 정상인 동시에 홀이나 언더컷의 깊이 값이 정상인 경우에도 용접 정상 또는 양호로 판단할 수 있다.
출력부(470)는 판단 결과를 디스플레이 화면 또는 클라이언트로 출력함으로써, 관리자는 검사 시료에 대한 용접 상태 및 불량 여부를 빠르고 용이하게 확인할 수 있다. 이외에도 출력부(470)는 용접 비드의 특징 정보, 홀 또는 언더컷의 발생 여부, 발생 위치 등을 포함한 용접 상태 검사 결과를 클라이언트로 제공할 수 있다.
이상과 같은 본 발명에 따른 비전 카메라를 이용한 비드 인식 장치 및 그 방법에 따르면, 비전 카메라의 영상을 이용하여 용접 비드의 검출 성능과 데이터 처리 속도를 높이는 동시에 불량 검사의 판별 오차를 줄일 수 있는 이점이 있다.
본 발명은 도면에 도시된 실시 예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 다른 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의하여 정해져야 할 것이다.
100: 고정용 지그 200: 2D 카메라
300: 조명 400: 비드 인식 장치
410: 입력부 420: 영상 처리부
430: 비드 영역 추출부 440: 제1 검출부
450: 제2 검출부 460: 판단부
470: 출력부

Claims (12)

  1. 2D 카메라를 통해 검사 시료를 포함한 영상을 입력받는 입력부;
    상기 영상에 관심 영역을 설정하고 상기 관심 영역을 그레이 영상으로 변환하는 영상 처리부;
    상기 관심 영역에서 상기 검사 시료의 용접 비드 영역을 검출하는 비드 영역 추출부;
    상기 관심 영역 내 상기 용접 비드 영역과 나머지 배경 영역을 이진화 처리한 이진화 영상으로부터 용접 비드의 특징 정보를 검출하고, 검출된 특징 정보로부터 용접 비드의 형태 이상 여부를 판단하는 제1 검출부;
    상기 이진화 영상과 상기 그레이 영상을 결합한 영상으로부터 용접 비드 내 홀(Hole)이나 언더컷(UnderCut)의 발생 여부 또는 발생 위치를 판단하고, 깊이 측정 센서로부터 수신한 상기 홀 또는 언더컷의 깊이 값을 기 설정된 각각의 기준 값과 비교하여 상기 홀 또는 언더컷의 깊이 이상 여부를 판단하는 제2 검출부;
    상기 형태 및 상기 깊이 모두 정상이면 상기 용접 비드를 정상으로 판단하고, 상기 형태 및 상기 깊이 중 적어도 하나가 이상이면, 상기 용접 비드를 불량으로 판단하는 판단부; 및
    상기 판단 결과를 디스플레이 화면 또는 외부의 클라이언트로 제공하는 출력부를 포함하는 비전 카메라를 이용한 비드 인식 장치.
  2. 청구항 1에 있어서,
    상기 용접 비드의 특징 정보는,
    용접 비드의 시작점, 끝점, 호의 길이, 상기 호의 길이 방향을 따라 획득된 복수의 비드 폭에 대한 평균, 최대 및 최소 값 중 적어도 하나를 포함하는 비전 카메라를 이용한 비드 인식 장치.
  3. 청구항 2에 있어서,
    상기 제1 검출부는,
    상기 용접 비드의 내/외부 윤곽선 중 외부 윤곽선 상의 복수의 점들을 각각 대상으로, 상기 검사 시료의 중심점과 상기 외부 윤곽선상의 점이 만나는 직선을 형성한 후 상기 직선과 내부 윤곽선 간 교차점과 상기 직선과 외부 윤곽선 간 교차점 사이의 거리를 구하는 것을 통해 상기 복수의 비드 폭을 각각 획득하는 비전 카메라를 이용한 비드 인식 장치.
  4. 청구항 1에 있어서,
    상기 제2 검출부는,
    상기 이진화 영상 내의 상기 용접 비드 영역에 대응하는 흰색 영역을 상기 그레이 영상 내 해당 영역의 영상으로 채우는 방식으로 상기 이진화 영상과 상기 그레이 영상을 결합하는 비전 카메라를 이용한 비드 인식 장치.
  5. 청구항 1에 있어서,
    상기 제1 검출부는,
    상기 용접 비드의 특징 정보를 기 설정된 기준 정보와 비교하여 상기 용접 비드의 형태 이상 여부를 판단하는 비전 카메라를 이용한 비드 인식 장치.
  6. 삭제
  7. 비전 카메라를 이용한 비드 인식 장치에서의 비드 인식 방법에 있어서,
    2D 카메라를 통해 검사 시료를 포함한 영상을 입력받는 단계;
    상기 영상에 관심 영역을 설정하고 상기 관심 영역을 그레이 영상으로 변환하는 단계;
    상기 관심 영역에서 상기 검사 시료의 용접 비드 영역을 검출하는 단계;
    상기 관심 영역 내 상기 용접 비드 영역과 나머지 배경 영역을 이진화 처리한 이진화 영상으로부터 용접 비드의 특징 정보를 검출하고, 검출된 특징 정보로부터 용접 비드의 형태 이상 여부를 판단하는 단계;
    상기 이진화 영상과 상기 그레이 영상을 결합한 영상으로부터 용접 비드 내 홀(Hole)이나 언더컷(UnderCut)의 발생 여부 또는 발생 위치를 판단하는 단계;
    깊이 측정 센서로부터 수신한 상기 홀 또는 언더컷의 깊이 값을 기 설정된 각각의 기준 값과 비교하여 상기 홀 또는 언더컷의 깊이 이상 여부를 판단하는 단계;
    상기 형태 및 상기 깊이 모두 정상이면 상기 용접 비드를 정상으로 판단하고, 상기 형태 및 상기 깊이 중 적어도 하나가 이상이면, 상기 용접 비드를 불량으로 판단하는 단계; 및
    상기 판단 결과를 디스플레이 화면 또는 외부의 클라이언트로 제공하는 단계를 포함하는 비전 카메라를 이용한 비드 인식 방법.
  8. 청구항 7에 있어서,
    상기 용접 비드의 특징 정보는,
    용접 비드의 시작점, 끝점, 호의 길이, 상기 호의 길이 방향을 따라 획득된 복수의 비드 폭에 대한 평균, 최대 및 최소 값 중 적어도 하나를 포함하는 비전 카메라를 이용한 비드 인식 방법.
  9. 청구항 8에 있어서,
    상기 특징 정보를 검출하는 단계는,
    상기 용접 비드의 내/외부 윤곽선 중 외부 윤곽선 상의 복수의 점들을 각각 대상으로, 상기 검사 시료의 중심점과 상기 외부 윤곽선상의 점이 만나는 직선을 형성한 후 상기 직선과 내부 윤곽선 간 교차점과 상기 직선과 외부 윤곽선 간 교차점 사이의 거리를 구하는 것을 통해 상기 복수의 비드 폭을 각각 획득하는 비전 카메라를 이용한 비드 인식 방법.
  10. 청구항 7에 있어서,
    상기 용접 비드 내 홀이나 언더컷의 발생 여부 또는 발생 위치를 판단하는 단계는,
    상기 이진화 영상 내의 상기 용접 비드 영역에 대응하는 흰색 영역을 상기 그레이 영상 내 해당 영역의 영상으로 채우는 방식으로 상기 이진화 영상과 상기 그레이 영상을 결합하는 비전 카메라를 이용한 비드 인식 방법.
  11. 청구항 7에 있어서,
    상기 형태 이상 여부를 판단하는 단계는,
    상기 용접 비드의 특징 정보를 기 설정된 기준 정보와 비교하여 상기 용접 비드의 형태 이상 여부를 판단하는 비전 카메라를 이용한 비드 인식 방법.
  12. 삭제
KR1020180043479A 2017-04-13 2018-04-13 비전 카메라를 이용한 비드 인식 장치 및 그 방법 KR102027986B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20170048004 2017-04-13
KR1020170048004 2017-04-13

Publications (2)

Publication Number Publication Date
KR20180115646A KR20180115646A (ko) 2018-10-23
KR102027986B1 true KR102027986B1 (ko) 2019-10-04

Family

ID=64101791

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180043479A KR102027986B1 (ko) 2017-04-13 2018-04-13 비전 카메라를 이용한 비드 인식 장치 및 그 방법

Country Status (1)

Country Link
KR (1) KR102027986B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102518045B1 (ko) * 2021-12-14 2023-04-06 (주)에이치씨엔씨 Ir 카메라의 영상신호를 이용한 용접부 결함 검출 방법

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102279074B1 (ko) 2020-08-03 2021-07-19 모니텍주식회사 레이저 용접의 품질 평가 시스템 및 그 방법
KR102225753B1 (ko) * 2020-08-27 2021-03-09 세종대학교산학협력단 딥러닝 기반 파노라마 영상의 품질 평가 방법 및 그 장치
CN113781420A (zh) * 2021-08-31 2021-12-10 深圳市卓兴半导体科技有限公司 一种固晶过程中漏固的扫描检测方法、系统及存储介质
CN114043045B (zh) * 2021-11-29 2023-04-11 苏州全视智能光电有限公司 一种基于激光视觉的圆孔自动塞焊方法及装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100687811B1 (ko) * 2005-07-05 2007-03-02 삼성중공업 주식회사 용접부 결함 검출 방법 및 장치
KR101637977B1 (ko) * 2010-10-07 2016-07-08 대우조선해양 주식회사 레이저 비전 시스템을 이용한 용접 조인트의 특징점 검출 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102518045B1 (ko) * 2021-12-14 2023-04-06 (주)에이치씨엔씨 Ir 카메라의 영상신호를 이용한 용접부 결함 검출 방법

Also Published As

Publication number Publication date
KR20180115646A (ko) 2018-10-23

Similar Documents

Publication Publication Date Title
KR102027986B1 (ko) 비전 카메라를 이용한 비드 인식 장치 및 그 방법
US9097514B2 (en) Device and method for inspecting tyre shape
US9230318B2 (en) Analysis of the digital image of the external surface of a tyre and processing of false measurement points
CN112215810B (zh) 一种疲劳测试裂纹监测方法及装置
WO2021251064A1 (ja) 情報処理装置、判定方法、および情報処理プログラム
KR102043316B1 (ko) 2d 영상 기반의 용접 비드 인식 장치 및 그것을 이용한 그을음 제거 방법
KR101679650B1 (ko) 홀 내부의 결함 검출방법
JP2004509325A (ja) Pcb検査における誤った警報の低減
JP2020008501A (ja) 表面欠陥検出装置及び表面欠陥検出方法
US9638606B2 (en) Tire shape inspection method and tire shape inspection device
KR102012318B1 (ko) 영상센서를 이용한 용접 품질 전수 검사 장치 및 그 방법
CN111539927B (zh) 汽车塑料组合件紧固卡扣缺装检测装置的检测方法
JP2004340832A (ja) 回路基板の外観検査方法及び回路基板の外観検査装置
JP4279833B2 (ja) 外観検査方法及び外観検査装置
WO2022222467A1 (zh) 开口圆环工件外观缺陷检测方法、系统及计算机存储介质
KR101902068B1 (ko) 타이어 완제품의 트레드 프로파일 편차 분석방법
KR20170127883A (ko) 영상 기반의 용접 비드 검출 방법
JP2017166957A (ja) 欠陥検出装置、欠陥検出方法およびプログラム
JP6566903B2 (ja) 表面欠陥検出方法および表面欠陥検出装置
KR101637977B1 (ko) 레이저 비전 시스템을 이용한 용접 조인트의 특징점 검출 방법
Shreya et al. Design of machine vision system for high speed manufacturing environments
JP2019120644A (ja) 表面検査装置、及び表面検査方法
CN115203815A (zh) 生产速度部件检查系统和方法
CN110530800B (zh) 玻璃应力缺陷的检测方法和装置
JPH11132743A (ja) 画像信号処理による欠陥検査装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right