KR20190124452A - 용접비드 비전 검사 장치 및 용접 불량 검사방법 - Google Patents

Abstract

본 발명은 신규로 개발한 비전 검사 알고리듬이 탑재되어 생산 현장에서 필요로 하는 중요 불량들을 효과적으로 검출할 수 있는 용접비드 비전 검사 장치 및 용접 불량 검사방법에 관한 것이다.

Description

용접비드 비전 검사 장치 및 용접 불량 검사방법{APPARATUS FOR WELD BEAD DETECTING AND METHOD FOR DETECTING WELDING DEFECTS OF THE SAME}

본 발명은 용접비드 비전 검사 장치 및 용접 불량 검사방법에 관한 것으로, 신규로 개발한 비전 검사 알고리듬이 탑재되어 생산 현장에서 필요로 하는 중요 불량들을 효과적으로 검출할 수 있는 용접비드 비전 검사 장치 및 용접 불량 검사방법에 관한 것이다.

자동차 부품 제조 현장에서 주로 시행되는 용접은 가스 금속 아크 용접(GMAW)이다. 가스 금속 아크 용접(GMAW)은 용접부의 산화를 방지하기 위하여 아르곤(Ar)이나 헬륨(He), 이산화탄소(CO2)와 같은 불활성 기체를 이용하여 용융 금속을 주위의 공기로부터 보호하는 용접 방식이다. 한편, 보호가스로 CO2 가스를 100% 사용할 때 CO2 용접이라고 한다. 차량에서 CO2 용접부위는 사고 발생 시 치명적인 결과를 초래할 수 있으며 용접 불량에 대한 리콜은 제조사에 매우 큰 경제적인 손실을 야기한다.

용접부의 품질을 검사하기 위하여 일반적으로 사용되는 방법은 단면 매크로 검사이다. 용접 비드를 직각으로 절단한 후 연마, 부식하여 현미경으로 검사하는 방법이다. 산업 현장에서 주로 사용되는 방식이지만 전수검사가 불가능하고 검사하는데 시간이 오래 걸린다는 단점이 있다.

용접부의 비파괴시험에는 육안 검사(visual testing), 누설 검사(leak testing), 침투탐상 검사(penetration testing), 자분탐상 검사(magnetic testing), 초음파 탐상 검사(ultrasonic testing), 와전류탐상검사(eddy current testing), 음향방출 시험 등이 있다. 육안 검사(visual testing) 방식은 용접에 의해 생성되는 용접 비드의 형상을 검사하는 방식으로서, 용접 비드의 길이, 넓이, 높이 및 형상의 형태 등을 검사하는 방식이다. 비전 검사는 육안 검사를 대체하는 비파괴검사 방법이다.

종래의 외관 검사 방식에 이용되는 비전(vision) 검사 장비 중에서 2D 영상 기반의 검사 장비는 검사 수행 속도 가 빠르다는 등의 장점을 가지기 때문에 용접 결과물에 대한 전수 검사에 많이 이용되고 있다. 그러나 이 장비는 조명 조건에 따라 검사 성능이 변동되고, 2차원 평면 형태의 외형 측정을 하기 때문에 2D 형태의 용접 결과물에 대한 검사만 가능하다는 한계가 있다.

한편, 최근 사물의 형태를 측정하기 위하여 사용되는 3D 카메라를 이용한 검사 방식으로는 스테레오 비전을 이용한 검사 방식과 레이저를 이용한 라인 스캔(line scan) 검사 방식이 있으며, 이 방식들 중에서, 스테레오 비전을 이용한 검사 방식은 두 개의 카메라의 시차를 이용하는 방식으로서 3차원 형태의 외관 검사는 가능하나 현장에 적용하기에는 제품의 크기가 크고, 조명 조건에 따라 검사 성능이 좌우되며, 근거리 검사에는 적용하기 어려운 단점이 있다.

한국공개특허 제10-2017-0119901호(이하,‘선행문헌 1’이라 함)에는 용접 검사 수행 속도가 빠른 2D 영상 기반의 검사 방식과 프로파일 기반의 라인 스캔 검사 방식 및 검사 정확도가 높은 3D 영상 기반의 라인 스캔 검사 방식을 결합함으로써, 용접 결과물에 대한 품질 검사 속도와 검사 정확도를 동시에 향상시키고자 한 용접 비드 검사 장치에 대해 기술되어 있다.

선행문헌 1에 따른 용접 비드 검사 장치는 2차원 용접체 영상에서 2차원 영상 특징점 정보를 검출하고, 상기 2차원 영상 특징점 정보를 기준으로 용접 비드의 2차원 영상인 2차원 용접 비드 영상을 검출하고, 상기 2차원 용접 비드 영상에서 용접 불량 부위를 검출한다.

또한, 선행문헌 1에 따른 용접 비드 검사 장치는 3차원 스캔 정보에서 3차원 프로파일 정보들을 검출하고, 상기 3차원 프로파일 정보들로부터 생성된 3차원 용접체 영상에서 3차원 영상 특징점 정보를 검출한다. 선행문헌 1에 따른 용접 비드 검사 장치는 3차원 영상 특징점 정보와 상기 2차원 영상 특징점 정보를 비교하여 보정함으로써 상기 2차원 영상 특징점 정보를 상기 3차원 영상 특징점 정보에 정합시키고, 상기 2차원 용접 비드 영상의 용접 불량 부위에 대응하는 3차원 용접 비드 영상 영역에 대한 3차원 형상 검사를 통하여 용접 불량을 최종 판단한다.

선행문헌 1에 따른 용접 비드 검사 장치는 본 공동출원인들이 발명하여 출원한 것이며, 본 공동출원인들은 국가연구개발사업에 따른 정부 지원을 받아 선행문헌 1과 차별화된 신규의 비전 검사 알고리듬을 개발하게 되었다.접 비드 영상 영역에 대한 3차원 형상 검사를 통하여 용접 불량을 최종 판단한다.

선행문헌 1에 따른 용접 비드 검사 장치는 본 공동출원인들이 발명하여 출원한 것이며, 본 공동출원인들은 국가연구개발사업에 따른 정부 지원을 받아 선행문헌 1과 차별화된 신규의 비전 검사 알고리듬을 개발하게 되었다.

한국공개특허 제10-2017-0119901호(공개일 2017.10.30)

본 발명은 상기와 같은 배경에서 제안된 것으로, 신규로 개발한 비전 검사 알고리듬이 탑재되어 생산 현장에서 필요로 하는 중요 불량들을 효과적으로 검출할 수 있는 용접비드 비전 검사 장치 및 용접 불량 검사방법을 제공한다.

상기와 같은 목적을 달성하기 위하여 본 발명에 따른 용접비드 비전 검사 장치는, 피검사물을 촬영하는 카메라모듈과 피검사물에 레이저빔을 조사하는 라인 레이저를 포함하는 프로파일 센서부와; 상기 프로파일 센서부를 피검사물을 검사하기 위한 위치로 이동시키는 이송부와;

이더넷 통신과 시리얼 통신을 지원하는 통신부와; 상기 이더넷 통신을 통해 상기 프로파일 센서부의 동작을 제어하고, 상기 시리얼 통신을 통해 상기 이송부의 동작을 제어하고, 용접 모재와 용접 부재 사이의 용접비드의 용접 불량을 판정하는 제어부와; 상기 프로파일 센서부로부터 피검사물 영상 데이터와 레이저 프로파일 데이터를 수신하여 3D 캘리브레이션을 처리하고, 용접 모재와 용접 부재 사이의 용접비드의 경계점과 형상을 검출하여 상기 제어부로 전달하는 영상처리부를 포함한다.

본 발명에 따른 용접비드 비전 검사 장치는 시리얼 통신과 공정 제어반에 탑재된 디바이스 넷 통신을 연결하는 통신변환장치를 더 포함한다.

본 발명에 따른 용접비드 비전 검사 장치의 영상처리부는, 레이저 프로파일 데이터에서 용접 모재 상의 직선(L1)과 부재 상의 직선(L2)을 추정하고, 상기 용접 모재 상의 직선(L1)과 부재 상의 직선(L2)과 레이저 프로파일 데이터를 이용하여 용접비드의 좌측 경계점과 우측 경계점을 검출하는 용접비드 경계점 검출부와;

상기 용접비드의 좌측 경계점과 우측 경계점 및 레이저 프로파일 데이터를 이용하여 용접비드의 형상을 검출하는 용접비드 형상 검출부를 포함하고,

본 발명에 따른 용접비드 비전 검사 장치의 제어부는, 용접비드의 좌측 경계점과 우측 경계점이 모두 검출되었는지를 판단하여 그 결과 부정이면 용접 불량으로 판정하고, 상기 용접비드의 형상이 설정값 이하인 경우 용접 불량으로 판정하는 용접불량 판정부를 포함한다.

본 발명에 따른 카메라모듈과 라인 레이저를 포함하는 용접비드 비전 검사 장치에서 실행되는 용접 불량 검사방법은, 피검사물에 레이저를 조사하고, 카메라모듈을 통해 레이저가 조사되는 피검사물을 촬영하여 레이저 프로파일 데이터를 획득하는 단계와; 상기 레이저 프로파일 데이터에서 용접 모재 상의 직선(L1)과 부재 상의 직선(L2)을 추정하는 단계와;

상기 용접 모재 상의 직선(L1)과 부재 상의 직선(L2)과 레이저 프로파일 데이터를 이용하여 용접비드의 좌측 경계점과 우측 경계점을 검출하는 단계와; 상기 용접비드의 좌측 경계점과 우측 경계점 및 레이저 프로파일 데이터를 이용하여 용접비드의 형상을 검출하는 단계와; 상기 용접비드의 좌측 경계점과 우측 경계점이 모두 검출되었는지를 판단하여 그 결과 부정이면 용접 불량으로 판정하고, 상기 용접비드의 형상이 설정값 이하인 경우 용접 불량으로 판정하는 단계를 포함한다.

상술한 바와 같이 본 발명에 따르면, 신규로 개발한 비전 검사 알고리듬이 탑재되어 생산 현장에서 필요로 하는 중요 불량들을 효과적으로 검출할 수 있는 효과가 있다.

도 1 은 본 발명에 따른 용접비드 비전 검사 장치의 구성을 설명하기 위한 예시도이다.
도 2 는 본 발명에 따른 용접비드 비전 검사 장치의 영상처리부의 구성을 설명하기 위한 예시도이다.
도 3 은 본 발명에 따른 용접비드 비전 검사 장치에서 실행되는 용접 불량 검사방법에 대한 흐름도이다.
도 4a는 본 발명에 따른 용접비드 비전 검사 장치에서 용접 비드의 좌측 경계점을 검출하는 과정을 설명하기 위한 예시도이다.
도 4b는 본 발명에 따른 용접비드 비전 검사 장치에서 용접 비드의 우측 경계점을 검출하는 과정을 설명하기 위한 예시도이다.
도 5a는 본 발명에 따른 용접비드 비전 검사 장치에서 용접 비드의 높이 측정하는 과정을 설명하기 위한 예시도이다.
도 5b는 본 발명에 따른 용접비드 비전 검사 장치에서 용접 비드의 볼록 형상 판정하는 과정을 설명하기 위한 예시도이다.
도 6 은 본 발명에 따른 용접비드 비전 검사 장치에서 용접 비드 검사 결과를 설명하기 위한 예시도이다.

이하, 첨부된 도면을 참조하여 전술한, 그리고 추가적인 양상을 기술되는 바람직한 실시예를 통하여 본 발명을 당업자가 용이하게 이해하고 재현할 수 있도록 상세히 설명하기로 한다.

본 발명에 따른 용접비드 비전 검사 장치(100)는 도 1에 도시한 바와 같이, 프로파일 센서부(110)와 이송부(120)와 통신부(130)와 제어부(140)와 영상처리부(150)와 표시부(160)와 통신변환장치(170)를 포함하여 구현될 수 있다.

프로파일 센서부(110)는 피검사물을 촬영하는 카메라모듈과 피검사물에 레이저빔을 조사하는 라인 레이저모듈을 포함하여 구현될 수 있다.

카메라모듈은 렌즈체와 촬상부와 데이터 변환부로 구성되며, 렌즈체로부터 입력되는 광신호를 촬상부에 의해 전기적인 영상 신호로 변환하여 출력한다. 촬상부는 렌즈체로부터 입력되는 광신호를 전기신호로 바꿔서 디지털 신호로 변환하여 출력한다. 촬상부는 통상 CMOS 촬상소자 또는 CCD 촬상소자로 구성되며, 각 픽셀별로 빛을 전기적인 신호로 변환하여 클럭에 동기시켜 순차적으로 출력하는 공지의 이미지 센서 소자이다. 데이터 변환부는 촬상부에서 출력되는 영상 밝기에 비례한 전류 또는 전압을 약간의 처리를 거쳐 디지털 데이터로 변환하고, 이 데이터값을 YUV 형식으로 변환하여 출력한다.

라인 레이저모듈은 피검사물에 레이저광을 조사하였을 때 피검사물의 표면에 라인(Line), 즉 선의 형태로 레이저광이 표현되도록 구현된 장치이다. 라인 레이저모듈은 카메라모듈과 일체화 하여 구성될 수 있다. 일례로, 피검사물과의 간섭을 예방하기 위해 라인 레이저모듈과 피검사물과의 기준 거리는 200mm로 결정할 수 있다. 기준 거리에 있는 피검사물을 검사하기 위해 렌즈의 초점 거리를 적절하게 조정하면 된다. 이 때 피검사물 심도는 40mm이다. 외부 광원의 유입을 예방하기 위하여 렌즈의 끝단에 선정한 레이저 파장에 적합한 밴드 패스 필터(band pass filter)를 설치하는 것도 좋은 방법이다.

이송부(120)는 프로파일 센서부(110)를 피검사물을 검사하기 위한 위치로 이동시키는 역할을 한다. 이송부(120)는 전동 로터리로 구현될 수 있다. 다른 예로, 피검사물 또는 검사 환경에 따라 로봇 또는 리니어 스테이지도 가능한다.

통신부(130)는 이더넷 통신과 시리얼 통신을 지원하는 역할을 한다. 제어부(140)는 이더넷 통신을 통해 프로파일 센서부(110)의 동작을 제어하고, 시리얼 통신을 통해 이송부(120)의 동작을 제어한다. 제어부(140)는 영상처리부(150)에서 전달되는 용접 모재와 용접 부재 사이의 용접비드의 경계점과 형상 검출결과를 이용하여 용접 모재와 용접 부재 사이의 용접비드의 용접 불량을 판정한다.

일례로, 제어부(140)는 용접비드의 좌측 경계점과 우측 경계점이 모두 검출되었는지를 판단하여 그 결과 부정이면 용접 불량으로 판정하고, 상기 용접비드의 형상이 설정값 이하인 경우 용접 불량으로 판정한다.

영상처리부(150)는 프로파일 센서부(110)로부터 피검사물 영상 데이터와 레이저 프로파일 데이터를 수신하여 3D 캘리브레이션을 처리하고, 용접 모재와 용접 부재 사이의 용접비드의 경계점과 형상을 검출하여 제어부(140)로 전달한다.

3D 캘리브레이션 프로세스

영상처리부(150)는 카메라모듈로부터 평면 캘리브레이터 2D 영상과 레이저 프로파일 데이터를 수신하여 카메라의 내부 매개변수와 제1 회전 행렬 및 이동변환 행렬을 포함하는 외부 매개변수를 추정한다.

용접비드 비전 검사 장치(100)는 정확한 치수 측정을 위하여 카메라 캘리브레이션으로 왜곡을 교정해야 한다. 영상 평면(image plane)의 중심에서 가장자리로 갈수록 영상 센서(image sensor)로 사영(project)된 물체가 안쪽을 향하여 휘어지는 핀쿠션 왜곡(pincushion distortion) 또는 도 2b에 도시한 바와 같이 영상 평면(image plane)의 중심에서 가장자리로 갈수록 영상 센서(image sensor)로 사영(project)된 물체가 바깥쪽을 향하여 휘어지는 배럴 왜곡(barrel distortion)이 나타날 수 있다.

이러한 핀쿠션 왜곡(pincushion distortion) 또는 배럴 왜곡(barrel distortion)을 교정하기 위해 월드 좌표계의 한 점[

]으로부터 2D 영상 좌표계의 한 점[

]으로 변환하는 방법을 사용한다.

월드 좌표계의 한 점[

]으로부터 2D 영상 좌표계의 한 점[

]으로 변환하는 방법은 먼저, 월드 좌표계의 한 점[

]으로부터 카메라 좌표계의 한 점[

]으로 변환하는 것이다. 변환식은 식(1)과 같다.

(1)

월드 좌표계와 카메라 좌표계 간의 관계는 회전 행렬 R과 이동변환 행렬 T에 의해 결정된다.

여기서, 회전 행렬

이고, 이동변환 행렬

로 정의된다. 이후, 3차원 카메라 좌표계에서 2차원 영상 센서로의 사영 변환(projective transformation)을 하는 것이다. 사영 변환(projective transformation)식은 식(2)와 같다.

(2)

여기서, [

]는 렌즈에 의한 왜곡이 존재하지 않는 무왜곡 좌표계의 좌표이다. 렌즈에 의한 방사 왜곡, 즉 핀쿠션 왜곡(pincushion distortion) 또는 배럴 왜곡(barrel distortion)은 식(3)과 같이 표준 다항식 모델을 이용하여 표현할 수 있으며, [

]는 왜곡 좌표계(distorted image coordinates)의 한 점 [

]으로 변환된다.

(3)

여기서,

,

왜곡 좌표계에서 영상 좌표계로의 변환은 식(4)와 같다.

여기서,

는 카메라 내부 매개 변수(intrinsic parameter)이다.

카메라의 내부 매개변수는 카메라의 가로, 세로 방향의 초점 거리(focal length)를 의미하는 α, β, 카메라모듈의 이미지 센서의 종횡비(aspect ratio)를 의미하는 γ, 광축과 이미지 센서가 만나는 광점(optical point)인

로 구성된다.

카메라 캘리브레이션으로 추정하는 변수는 카메라 내부 매개 변수 행렬, 외부 매개 변수(extrinsic parameter)인 회전 행렬 R 과 이동변환 행렬 T, 왜곡 모델 계수 K=(k1, k2)이다.

본 발명에 따른 용접비드 비전 검사 장치(100)는 복수의 정사각형을 가지며, 서로 이웃하는 정사각형의 꼭지점이 교차하는 평면 캘리브레이터를 포함한다. 카메라 캘리브레이션에 사용되는 캘리브레이터의 패턴은 그림 4와 같다. 실험에 사용된 패턴의 정사각형 한 변의 길이는 2mm이며 캘리브레이션을 위해 사용하는 특징 점(Feature point)은 정사각형 사이의 교차점이다. 한 영상에서 사용하는 특징 점의 수는 총 360개(가로 24개, 세로 15개)이다. 캘리브레이션을 위해 캘리브레이터의 자세를 변경하면서 총 9장의 영상을 획득한다. 특징 점의 좌표와 좌표계 간의 변환 관계식을 이용하여 비선형 최소자승법으로 매개 변수를 추정한다.

영상처리부(150)는 평면 캘리브레이터 2D 영상에서 캘리브레이터 상의 4개의 특징점 좌표를 추출하고, 제1 회전 행렬 R 및 이동변환 행렬 T 을 이용해 상기 4개의 특징점의 좌표를 카메라 좌표로 변환한 후, 상기 카메라 좌표로 변환된 4개의 특징점을 이용해 캘리브레이터의 평면 방정식 산출한다.

2차원인 레이저 프로파일 데이터의 영상 좌표를 3차원인 월드 좌표계로 변환할 때 카메라 캘리브레이션 과정에서 추정한 카메라 내부 변수와 왜곡 계수만으로는 부족하다. 그 이유는 3차원 공간에 있는 무수히 많은 점들이 영상 센서 상에 한 점으로 투영되기 때문이다.

카메라 좌표계에서 라인 레이저가 만드는 레이저 평면의 방정식을 알고 있다면 2차원의 좌표로부터 3차원 좌표로 변환이 가능하다. Sun은 광 삼각법 캘리브레이션을 위해 별도의 캘리브레이터를 제작하여 사용하였다. 본원발명은 그림 5와 같이 카메라 캘리브레이션 단계에서 평면 캘리브레이터의 영상 획득 시 라인 레이저를 조사하고 레이저 프로파일 데이터를 동시에 획득한다.

영상처리부(150)는 캘리브레이터의 평면 방정식을 이용해 2D 영상에서의 프로파일 데이터를 모두 카메라 좌표로 변환하고, 상기 카메라 좌표로 변환한 프로파일 데이터를 제어점으로 등록한 후 등록된 모든 제어점을 이용해 카메라 좌표계에서의 레이저 평면 방정식을 추정한다.

용접비드의 경계점과 형상검출 프로세스

영상처리부(150)는 도 2에 도시한 바와 같이, 크게 전처리부와 용접비드 경계점 검출부와 용접비드 형상 검출부를 포함하여 구현될 수 있다.

용접비드 비전 검사 장치(100)는 용접 불량 판정을 위해 피검사물에 레이저 라인을 조사한다. 그리고 카메라모듈을 이용하여 레이저 라인이 조사되는 형상을 촬영한다. 이 때, 피검사물의 재질에 따라 카메라의 노출 시간(exposure time)을 적절하게 설정하여야 한다. 노출 시간이 짧은 경우 레이저의 라인이 포화되지 못하여 레이저 프로파일 데이터가 누락되는 경우가 발생한다. 노출 시간이 지나치게 길 경우 레이저 라인의 포화되는 픽셀의 수가 증가하여 라인의 중심점 검출 정확도가 낮아진다. 전처리부는 레이저 프로파일 데이터의 스무딩 및 보간을 처리한다.

용접 비드와 부재가 만나는 점을 용접 비드 좌측 경계점, 용접 비드와 모재가 만나는 점을 용접비드 우측 경계점으로 정의한다. 용접 비드의 검출은 용접 비드의 좌측 경계점과 우측 경계점을 모두 찾는 것을 의미한다.

용접비드 경계점 검출부는 레이저 프로파일 데이터에서 용접 모재 상의 직선(L1)과 부재 상의 직선(L2)을 추정하고, 상기 용접 모재 상의 직선(L1)과 부재 상의 직선(L2)과 레이저 프로파일 데이터를 이용하여 용접비드의 좌측 경계점과 우측 경계점을 검출한다.

레이저 프로파일 데이터에서 용접 모재와 부재의 표면은 직선으로 나타난다. 직선 방정식의 매개변수를 추정하기 위해 관심 영역(region of interest, ROI)을 각각 지정한다. 그리고 각각의 ROI 내에 존재하는 데이터의 영상 좌표를 이용하여 용접 모재 상의 직선(L1)과 부재 상의 직선(L2)을 각각 추정한다. 직선을 추정할 때 이상점(Outliner)의 영향을 최소화하기 위하여 RANSAC(random sample consensus)을 사용한다.

용접비드 형상 검출부는 용접비드의 좌측 경계점과 우측 경계점 및 레이저 프로파일 데이터를 이용하여 용접비드의 형상(볼록형상, 오목형상)을 검출한다.

통신변환장치(170)는 시리얼 통신과 공정 제어반에 탑재된 디바이스 넷 통신을 연결하는 역할을 한다. 즉, 통신변환장치(170)는 시리얼 통신을 디바이스 넷 통신으로 변환하고, 디바이스 넷 통신을 시리얼 통신으로 변환한다.

본 발명에 따른 용접비드 비전 검사 장치에서 실행되는 용접 불량 검사방법은 도 3에 도시한 바와 같다. 여기서, 용접비드 비전 검사 장치는 피검사물을 촬영하는 카메라모듈과 피검사물에 레이저빔을 조사하는 라인 레이저모듈을 포함한다.

본 발명에 따른 용접비드 비전 검사 장치는 용접 불량을 검사하기 앞서 캘리브레이션을 실시한다. 먼저, 평면 캘리브레이터의 자세를 변경하면서 복수의 평면 캘리브레이터 2D 영상과 레이저 프로파일 데이터를 획득한 후, 복수의 평면 캘리브레이터 2D 영상과 레이저 프로파일 데이터 중 제1 2D 영상에서 캘리브레이터의 제1 회전 행렬 및 이동변환 행렬을 포함하는 외부 매개변수와 복수의 평면 캘리브레이터 2D 영상과 레이저 프로파일 데이터 중 제1 2D 영상에서 카메라의 내부 매개변수를 추정한다.

일례로, 카메라의 내부 매개변수는 카메라의 가로, 세로 방향의 초점 거리(focal length)를 의미하는 α,?β, 카메라모듈의 이미지 센서의 종횡비(aspect ratio)를 의미하는 γ, 광축과 이미지 센서가 만나는 광점(optical point)인

로 구성되고,

상기 카메라의 내부 매개변수는,

로 표현되는 행렬식이다.

본 발명에 따른 용접비드 비전 검사 장치는 제1 2D 영상에서 캘리브레이터의 꼭지점 중 최외곽 4개의 꼭지점(특징점) 좌표 추출한 후, 제1 회전 행렬 및 이동변환 행렬을 이용해 상기 4개의 특징점의 월드 좌표를 카메라 좌표로 변환한다.

본 발명에 따른 용접비드 비전 검사 장치는 카메라 좌표로 변환된 4개의 특징점을 이용해 캘리브레이터의 평면 방정식 산출한 후, 캘리브레이터의 평면 방정식을 이용해 제1 2D 영상에서의 프로파일 데이터를 모두 카메라 좌표로 변환한다.

본 발명에 따른 용접비드 비전 검사 장치는 카메라 좌표로 변환한 프로파일 데이터를 제어점으로 등록한 후, 남은 2D 영상과 프로파일 데이터가 있는지를 판단하여(S318) 판단결과 긍정이면 단계 S312부터 S317를 반복하고, 부정이면 등록된 모든 제어점을 이용해 카메라 좌표계에서의 레이저 평면 방정식을 추정한다. 추정된 레이저 평면의 방정식을 이용하면 임의의 레이저 프로파일 데이터를 영상 좌표에서 카메라 좌표계로 변환 가능하다.

캘리브레이션 이후 본 발명에 따른 본 발명에 따른 용접비드 비전 검사 장치는 도 3에 도시한 바와 같이, 피검사물에 레이저를 조사하고, 카메라모듈을 통해 레이저가 조사되는 피검사물을 촬영하여 레이저 프로파일 데이터를 획득한다(S311).

이 때, 피검사물의 재질에 따라 카메라의 노출 시간(exposure time)을 적절하게 설정하여야 한다. 노출 시간이 짧은 경우 레이저의 라인이 포화되지 못하여 레이저 프로파일 데이터가 누락되는 경우가 발생한다. 노출 시간이 지나치게 길 경우 레이저 라인의 포화되는 픽셀의 수가 증가하여 라인의 중심점 검출 정확도가 낮아진다.

본 발명에 따른 용접비드 비전 검사 장치는 레이저 프로파일 데이터에서 용접 모재 상의 직선(L1)과 부재 상의 직선(L2)을 추정한다(S312). 레이저 프로파일 데이터에서 용접 모재와 부재의 표면은 직선으로 나타난다. 직선 방정식의 매개변수를 추정하기 위해 관심 영역(region of interest, ROI)을 각각 지정한다. 그리고 각각의 ROI 내에 존재하는 데이터의 영상 좌표를 이용하여 용접 모재 상의 직선(L1)과 부재 상의 직선(L2)을 각각 추정한다. 직선을 추정할 때 이상점(Outliner)의 영향을 최소화하기 위하여 RANSAC(random sample consensus)을 사용한다.

용접 비드와 부재가 만나는 점을 용접 비드 좌측 경계점, 용접 비드와 모재가 만나는 점을 용접비드 우측 경계점으로 정의한다. 용접 비드의 검출은 용접 비드의 좌측 경계점과 우측 경계점을 모두 찾는 것을 의미한다.

본 발명에 따른 용접비드 비전 검사 장치는 용접 모재 상의 직선(L1)과 부재 상의 직선(L2)과 레이저 프로파일 데이터를 이용하여 용접비드의 좌측 경계점과 우측 경계점을 검출한다(S313).

도 4a 및 도 4b를 참조하면, 용접비드의 좌측 경계점과 우측 경계점을 검출하는 방법은 다음과 같다.

좌측 경계점 검출

먼저, 임의의 기준 좌표점(x, z)으로부터 x축의 (+) 방향(Scan 1의 방향)으로 이동하면서 용접 모재 상의 직선(L1)과 레이저 프로파일 데이터 사이의 거리를 산출하고, 산출된 거리값이 제1 문턱값(Th1) 이상인지를 판단한다.

판단결과 긍정이면 x축의 (-) 방향(Scan 2의 방향)으로 이동하면서 용접 모재 상의 직선(L1)과 레이저 프로파일 데이터 사이의 거리를 산출하고, 상기 산출된 거리값이 제2 문턱값(Th2) 미만인지를 판단한다. 판단결과 긍정이면 산출된 거리값이 제2 문턱값(Th2) 미만이 되는 좌표점(x2, z1)을 용접비드의 좌측 경계점으로 설정한다.

우측 경계점 검출

먼저, 임의의 좌표점(x, z)으로부터 x축의 (-) 방향(Scan 1의 방향)으로 이동하면서 상기 용접 부재 상의 직선(L2)과 레이저 프로파일 데이터 사이의 거리를 산출하고, 상기 산출된 거리값이 제 문턱값(Th1) 이상인지를 판단한다.

판단결과 긍정이면 x축의 (+) 방향(Scan 2의 방향)으로 이동하면서 상기 용접 부재 상의 직선(L2)과 레이저 프로파일 데이터 사이의 거리를 산출하고, 상기 산출된 거리값이 제3 문턱값(Th3)을 초과하는지를 판단한다. 판단결과 긍정이면 산출된 거리값이 제3 문턱값(Th3)을 초과하게 되는 좌표점(x4, z2)을 용접비드의 우측 경계점으로 설정한다.

본 발명에 따른 용접비드 비전 검사 장치는 용접비드의 좌측 경계점과 우측 경계점 및 레이저 프로파일 데이터를 이용하여 용접비드의 형상을 검출한다(S314).

예를 들어, 도 5a를 참조하면, 용접비드의 높이는 모재면을 피팅한 직선 L1 으로부터 용접비드 우측 경계점까지의 최단거리 H와 같다. 용접비드의 각도는 도 5a에서 나타난 것과 같이 직선 L1과 용접비드의 좌측, 우측 경계점을 잇는 직선 L3 사이의 각도이다. 직선 L1과 L3의 사이각은 벡터의 내적을 이용하여 계산한다.

용접 비드의 볼록 형상을 검출하는 방법은 다음과 같다.

1) 도 5b와 같이 용접 비드의 좌측, 우측 경계점을 잇는 직선 L3 아래의 직

각삼각형 A의 넓이 SA 를 계산한다.

2) 용접 비드가 이루는 곡선 아래의 넓이를 계산한다. 이 때 용접 비드 영역의 프로파일 데이터는 데이터 간의 간격은 0.05mm 이다. 용접 비드 영역의 데이터의 총 개수가 K이고 x=k 일 때 z의 값이 f( Xk ) 라 하면 영역 B의 넓이는 다음과 같다.

본 발명에 따른 용접비드 비전 검사 장치는 용접비드의 좌측 경계점과 우측 경계점이 모두 검출되었는지를 판단하여 그 결과 부정이면 용접 불량으로 판정하고, 상기 용접비드의 형상이 설정값 이하인 경우 용접 불량으로 판정한다(S315).

검사 성능 검사

본 발명에 따른 용접비드 비전 검사 장치의 검사 성능 검증을 위하여 표 1과 같이 성능 검증용 시편 사양을 수립하고 표 2와 같이 4개의 용접 비드를 설계하였다.

성능 검증용 시편은 시편을 거치할 수 있는 거치대 위에 거치한 후 검사를 진행하였다.

연구에 사용된 카메라의 해상도는 가로, 세로 2048x1088 이며, 한 화소의 크기는 가로, 세로 0.0055mm로 동일하다. 카메라 내부에는 레이저 프로파일을 검출하는 알고리듬을 포함하고 있어 사용자는 카메라의 출력을 2D영상과 프로파일 데이터 중에서 선택할 수 있다. 카메라에 장착하는 렌즈는 Computar사의 M2518-MPW2이다. 이 렌즈는 초점거리가 25mm이다. 실험을 위해 조리개를 조정하여 동작거리(working distance, WD) 180mm와 220mm 사이에서 초점이 맺히도록 설정하였다.

라인 레이저는 MV micro사의 FP-Mvnano-660-70M-30-F200-TS이다. 레이저의 파장은 660nm이며 팬 각도(fan angle)는 30도이다. 3D 비전 검사 시스템을 위해 카메라와 라인 레이저를 고정할 브라켓을 설계, 제작하여 프로파일 센서 모듈을 구성하였다.

브라켓에 카메라와 레이저를 장착하여 고정한 후 3D 카메라 캘리브레이션 SW를 이용하여 매개변수를 추정하였다. 추정된 매개변수는 표 3과 같다.

추정된 매개 변수를 적용한 후, 기준면과 게이지 블록의 높이를 측정한 값은 표 4와 같다.

도 6 은 본 발명에 따른 용접비드 비전 검사 장치에서 용접 비드 검사 결과를 설명하기 위한 예시도이다. 도 6에서, 흰 색의 점은 레이저 프로파일 데이터이다. 미리 지정한 관심영역(ROI)내에서 부재의 측면부와 모재의 바닥면 직선을 각각 추정하여 그림에 표시하였다. 프로파일 데이터로부터 용접 비드의 좌측, 우측 경계점을 검출한 후 비드의 폭과 높이, 각도, 보강 덧붙임 양을 계산한 결과는 좌측 상단에 표시하였다.

검사 위치 당 100회 반복 측정하고 평균값을 계산하여 표 5에 정리하였다. 평균 측정 오차는 0.122mm 이다. 검사위치 3번의 경우 오목한 비드 형태를 검출하는 과정에서 오차가 다른 부위에 비해 크게 나타난다. 이는 용접 비드의 경계점을 검출할 때 추정한 직선과 데이터와의 거리가 문턱치th2 이하가 되는 지점을 검출하게 되는데 경사가 매우 완만할 경우 검출 오차가 크게 나타난 것이다.

용접 누락의 판정 정확도는 표 6의 기준으로 계산하였다. 표 5의 결과에 의하면 용접 비드가 존재하는데 비드가 존재한다고 판단한 TP = 300, 용접비드가 존재하는데 없다고 판단한 TN = 0, 용접비드가 존재하지 않는데 비드가 존재하지 않는다고 판단한 FN = 100, 용접비드가 존재하지 않는데 비드가 존재한다고 판단한 FP = 0이다. 따라서 검출 정확도는 표 6의 식에 의하면 100% 이다.

제안한 검사 알고리듬이 생산현장에서 필요로 하는 중요 불량들을 효과적으로 검출하는 것을 실험 결과로 확인하였다. 용접 누락 검출률이 100%인 것은 가공한 시편을 사용하여 실험 환경에서 나타난 결과이며 실제 생산 현장에 적용하여 검증해볼 필요가 있다.

지금까지, 본 명세서에는 본 발명이 속하는 기술 분야에서 통상의 지식을 지닌 자가 본 발명을 용이하게 이해하고 재현할 수 있도록 도면에 도시한 실시예들을 참고로 설명되었으나 이는 예시적인 것에 불과하며, 당해 기술분야에 통상의 지식을 지닌 자라면 본 발명의 실시예들로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 진정한 기술적 보호범위는 첨부된 청구범위에 의해서만 정해져야 할 것이다.

Claims (5)

1. 피검사물을 촬영하는 카메라모듈과 피검사물에 레이저빔을 조사하는 라인 레이저를 포함하는 프로파일 센서부와;
   상기 프로파일 센서부를 피검사물을 검사하기 위한 위치로 이동시키는 이송부와;
   이더넷 통신과 시리얼 통신을 지원하는 통신부와;
   상기 이더넷 통신을 통해 상기 프로파일 센서부의 동작을 제어하고, 상기 시리얼 통신을 통해 상기 이송부의 동작을 제어하고, 용접 모재와 용접 부재 사이의 용접비드의 용접 불량을 판정하는 제어부와;
   상기 프로파일 센서부로부터 피검사물 영상 데이터와 레이저 프로파일 데이터를 수신하여 3D 캘리브레이션을 처리하고, 용접 모재와 용접 부재 사이의 용접비드의 경계점과 형상을 검출하여 상기 제어부로 전달하는 영상처리부;
   를 포함하는 용접비드 비전 검사 장치.
2. 청구항 1 에 있어서,
   상기 시리얼 통신과 공정 제어반에 탑재된 디바이스 넷 통신을 연결하는 통신변환장치;
   를 더 포함하는 용접비드 비전 검사 장치.
3. 청구항 1 에 있어서,
   상기 영상처리부는,
   상기 레이저 프로파일 데이터에서 용접 모재 상의 직선(L1)과 부재 상의 직선(L2)을 추정하고, 상기 용접 모재 상의 직선(L1)과 부재 상의 직선(L2)과 레이저 프로파일 데이터를 이용하여 용접비드의 좌측 경계점과 우측 경계점을 검출하는 용접비드 경계점 검출부와;
   상기 용접비드의 좌측 경계점과 우측 경계점 및 레이저 프로파일 데이터를 이용하여 용접비드의 형상을 검출하는 용접비드 형상 검출부를 포함하고,
   상기 제어부는,
   상기 용접비드의 좌측 경계점과 우측 경계점이 모두 검출되었는지를 판단하여 그 결과 부정이면 용접 불량으로 판정하고, 상기 용접비드의 형상이 설정값 이하인 경우 용접 불량으로 판정하는 용접불량 판정부;
   를 포함하는 것을 특징으로 하는 용접비드 비전 검사 장치.
4. 카메라모듈과 라인 레이저모듈을 포함하는 용접비드 비전 검사 장치에서 실행되는 용접 불량 검사방법으로서,
   피검사물에 레이저를 조사하고, 카메라모듈을 통해 레이저가 조사되는 피검사물을 촬영하여 레이저 프로파일 데이터를 획득하는 단계와;
   상기 레이저 프로파일 데이터에서 용접 모재 상의 직선(L1)과 부재 상의 직선(L2)을 추정하는 단계와;
   상기 용접 모재 상의 직선(L1)과 부재 상의 직선(L2)과 레이저 프로파일 데이터를 이용하여 용접비드의 좌측 경계점과 우측 경계점을 검출하는 단계와;
   상기 용접비드의 좌측 경계점과 우측 경계점 및 레이저 프로파일 데이터를 이용하여 용접비드의 형상을 검출하는 단계와;
   상기 용접비드의 좌측 경계점과 우측 경계점이 모두 검출되었는지를 판단하여 그 결과 부정이면 용접 불량으로 판정하고, 상기 용접비드의 형상이 설정값 이하인 경우 용접 불량으로 판정하는 단계;
   를 포함하는 용접 불량 검사방법.
5. 청구항 4 에 있어서,
   상기 용접 모재 상의 직선(L1)과 부재 상의 직선(L2)과 레이저 프로파일 데이터를 이용하여 용접비드의 좌측 경계점과 우측 경계점을 검출하는 단계는,
   임의의 기준 좌표점(x, z)으로부터 x축의 (+) 방향으로 이동하면서 상기 용접 모재 상의 직선(L1)과 레이저 프로파일 데이터 사이의 거리를 산출하고, 상기 산출된 거리값이 제1 문턱값(Th1) 이상인지를 판단하는 단계와;
   판단결과 긍정이면 x축의 (-) 방향으로 이동하면서 상기 용접 모재 상의 직선(L1)과 레이저 프로파일 데이터 사이의 거리를 산출하고, 상기 산출된 거리값이 제2 문턱값(Th2) 미만인지를 판단하는 단계와;
   판단결과 긍정이면 산출된 거리값이 제2 문턱값(Th2) 미만이 되는 좌표점(x2, z1)을 용접비드의 좌측 경계점으로 설정하는 단계와;
   임의의 좌표점(x, z)으로부터 x축의 (-) 방향으로 이동하면서 상기 용접 부재 상의 직선(L2)과 레이저 프로파일 데이터 사이의 거리를 산출하고, 상기 산출된 거리값이 제 문턱값(Th1) 이상인지를 판단하는 단계와;
   판단결과 긍정이면 x축의 (+) 방향으로 이동하면서 상기 용접 부재 상의 직선(L2)과 레이저 프로파일 데이터 사이의 거리를 산출하고, 상기 산출된 거리값이 제3 문턱값(Th3)을 초과하는지를 판단하는 단계와;
   판단결과 긍정이면 산출된 거리값이 제3 문턱값(Th3)을 초과하게 되는 좌표점(x4, z2)을 용접비드의 우측 경계점으로 설정하는 단계;
   를 포함하는 것을 특징으로 하는 용접 불량 검사방법.
   
   

Images