KR20190124451A - 용접비드 비전 검사 장치 및 3d 캘리브레이션 방법 - Google Patents

용접비드 비전 검사 장치 및 3d 캘리브레이션 방법 Download PDF

Info

Publication number
KR20190124451A
KR20190124451A KR1020180048429A KR20180048429A KR20190124451A KR 20190124451 A KR20190124451 A KR 20190124451A KR 1020180048429 A KR1020180048429 A KR 1020180048429A KR 20180048429 A KR20180048429 A KR 20180048429A KR 20190124451 A KR20190124451 A KR 20190124451A
Authority
KR
South Korea
Prior art keywords
camera
calibrator
image
coordinates
laser
Prior art date
Application number
KR1020180048429A
Other languages
English (en)
Other versions
KR102064149B1 (ko
Inventor
정의태
이형준
정명환
하수영
Original Assignee
아진산업(주)
오토아이티(주)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 아진산업(주), 오토아이티(주) filed Critical 아진산업(주)
Priority to KR1020180048429A priority Critical patent/KR102064149B1/ko
Publication of KR20190124451A publication Critical patent/KR20190124451A/ko
Application granted granted Critical
Publication of KR102064149B1 publication Critical patent/KR102064149B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8806—Specially adapted optical and illumination features
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges

Abstract

본 발명은 하나의 평면 캘리브레이터를 이용하여 카메라 캘리브레이션과 3D 광 삼각법 캘리브레이션을 동시에 처리할 수 있는 용접비드 비전 검사 장치 및 3D 캘리브레이션 방법에 관한 것이다.

Description

용접비드 비전 검사 장치 및 3D 캘리브레이션 방법{APPARATUS FOR WELD BEAD DETECTING AND METHOD FOR CALIBRATION OF THE SAME}
본 발명은 용접비드 비전 검사 장치 및 3D 캘리브레이션 방법에 관한 것으로, 하나의 평면 캘리브레이터를 이용하여 카메라 캘리브레이션과 3D 광 삼각법 캘리브레이션을 동시에 처리할 수 있는 용접비드 비전 검사 장치 및 3D 캘리브레이션 방법에 관한 것이다.
최근에 생산성 향상, 품질 향상, 인력 부족 등의 문제를 해결하기 위하여 비전 검사 자동화 시스템 구축에 대해 연구가 활발하게 진행되고 있다. 자동차 부품 제조 현장은 전자부품 제조 현장에 비해 비전 시스템을 적용하기에 환경이 매우 열악하다. 자동차 부품 제조 현장에서 주로 시행되는 용접은 가스 금속 아크 용접(GMAW)이다. 가스 금속 아크 용접(GMAW)은 용접부의 산화를 방지하기 위하여 아르곤(Ar)이나 헬륨(He), 이산화탄소(CO2)와 같은 불활성 기체를 이용하여 용융 금속을 주위의 공기로부터 보호하는 용접 방식이다.
한편, 보호가스로 CO2 가스를 100% 사용할 때 CO2 용접이라고 한다. 차량에서 CO2 용접부위는 사고 발생 시 치명적인 결과를 초래할 수 있으며 용접 불량에 대한 리콜은 제조사에 매우 큰 경제적인 손실을 야기한다. 외국 선진 자동차 제조업체는 3D 비전 기술을 이용한 용접 검사 지원시스템을 생산 현장에 적용하고 있으며 국내 업체에서도 비전 검사 시스템 도입을 적극적으로 진행하고 있다.
3D 비전 검사 시스템에서 3D 카메라는 제품의 형상 정보를 획득하는 역할을 한다. 이 중 라인 레이저 기반의 3D 카메라는 광 삼각법(laser triangulation)을 이용한다. 라인 레이저가 검사 대상 위에 조사(irradiation)되면 카메라는 제품의 형상에 의해 변화된 라인 레이저의 형상을 영상으로 획득한다. 이때 획득된 라인 레이저 형상의 데이터를 레이저 프로파일(laser profile) 데이터라고 한다.
카메라로 획득한 레이저 프로파일 데이터는 화소 단위이며, 3차원 공간에서의 측정을 위하여 밀리미터 단위로 변환하는 과정이 필요하다. 이때 화소 단위를 밀리미터 단위로 변환하기 위한 매개 변수를 추정하는 과정이 3D 카메라 캘리브레이션(calibration)이다. 3D 카메라 캘리브레이션은 카메라 캘리브레이션과 3D 광 삼각법 캘리브레이션으로 구분된다. 카메라 캘리브레이션은 카메라의 내부 매개변수와 외부 매개변수와 렌즈에 의한 왜곡 계수를 추정하는 과정이다. 3D 광 삼각법 캘리브레이션은 라인 레이저가 만드는 레이저 평면 방정식을 추정하는 과정이다.
McIvor는 레이저 평면 방정식과 카메라 내부 매개변수(intrinsic parameter), 외부 매개 변수(extrinsic parameter)를 이용하여 영상 좌표에 대한 3차 방정식을 생성한 후 비선형 최소자승법(nonlinear least square method)으로 매개 변수들을 추정한다. 이 방법을 이용하기 위하여 선형 이동이 가능한 실험 환경을 갖추어야 하며 서로 수직한 3개의 면을 가진 캘리브레이터를 준비해야 한다.
Sanjeev는 카메라와 레이저 평면 간의 기하학적 관계를 이용하여 최소자승법으로 매개 변수를 추정한다. 이 방법들은 캘리브레이터의 형상이 복잡하며 제작비용이 비싸다는 단점이 있다.
Sun은 레이저 평면 방정식을 추정하기 위해 검은색 정사각형 한 개가 그려진 평면 캘리브레이터를 사용한다. 라인 레이저가 조사된 캘리브레이터의 영상을 다수 획득하고, 조사된 라인 레이저의 데이터를 모두 제어 점(control points)으로 사용하여 정확도를 향상하였다. Sun의 방법은 캘리브레이터의 제작이 용이하며 캘리브레이션 과정이 간단하다는 장점이 있다. 하지만, 카메라 캘리브레이션과 3D 광 삼각법 캘리브레이션을 위해 별도의 캘리브레이터를 준비하여 다수의 영상을 획득해야 하는 단점이 있다.
한국공개특허 제10-2005-0069418호(이하, ‘선행문헌 1’이라 함)에는 용접로봇의 레이저 비전 센서 캘리브레이션 장치에 대해 기술되어 있다. 선행문헌 1은 캘리브레이션 지그와 레이저비전 센서를 일체형으로 구성하고, 캘리브레이션 지그를 브이(V)자형 블록으로 형성함을 특징으로 한다.
한국공개특허 제10-2017-0119901호(이하, ‘선행문헌 2’라 함)에는 용접 검사 수행 속도가 빠른 2D 영상 기반의 검사 방식과 프로파일 기반의 라인 스캔 검사 방식 및 검사 정확도가 높은 3D 영상 기반의 라인 스캔 검사 방식을 결합한 용접 비드 검사 장치에 대해 기술되어 있다.
선행문헌 2에 따른 용접 비드 검사 장치는 2차원 용접체 영상에서 2차원 영상 특징점 정보를 검출하고, 상기 2차원 영상 특징점 정보를 기준으로 용접 비드의 2차원 영상인 2차원 용접 비드 영상을 검출하고, 상기 2차원 용접 비드 영상에서 용접 불량 부위를 검출한다.
한편, 선행문헌 2에 따른 용접 비드 검사 장치는 3차원 스캔 정보에서 3차원 프로파일 정보들을 검출하고, 상기 3차원 프로파일 정보들로부터 생성된 3차원 용접체 영상에서 3차원 영상 특징점 정보를 검출한다. 선행문헌 3에 따른 용접 비드 검사 장치는 3차원 영상 특징점 정보와 상기 2차원 영상 특징점 정보를 비교하여 보정함으로써 상기 2차원 영상 특징점 정보를 상기 3차원 영상 특징점 정보에 정합시키고, 상기 2차원 용접 비드 영상의 용접 불량 부위에 대응하는 3차원 용접 비드 영상 영역에 대한 3차원 형상 검사를 통하여 용접 불량을 최종 판단한다.
그러나 선행문헌 2에 따르면 산업 현장에 적용하기 위한 캘리브레이션에 대한 어떠한 내용도 제시한 바 없다. 즉, 선행문헌 2에 따른 용접 비드 검사 장치는 서로 수직한 3개의 면을 가진 캘리브레이터를 사용하는 방법(McIvor), 형상이 복잡하고 제작비용이 비싼 캘리브레이터를 사용하는 방법(Sanjeev), 또는 카메라 캘리브레이션과 3D 광 삼각법 캘리브레이션을 위해 별도의 캘리브레이터를 사용하는 방법(Sun) 중 하나를 사용해야 한다.
한국공개특허 제10-2005-0069418호(공개일 2005.07.05) 한국공개특허 제10-2017-0119901호(공개일 2017.10.30)
본 발명은 상기와 같은 배경에서 제안된 것으로, 하나의 평면 캘리브레이터를 이용하여 카메라 캘리브레이션과 3D 광 삼각법 캘리브레이션을 동시에 처리할 수 있는 용접비드 비전 검사 장치 및 3D 캘리브레이션 방법을 제공한다.
상기와 같은 목적을 달성하기 위하여 본 발명에 따른 용접비드 비전 검사 장치는, 복수의 정사각형을 가지며, 서로 이웃하는 정사각형의 꼭지점이 교차하는 평면 캘리브레이터와; 피검사물을 촬영하는 카메라모듈과 피검사물에 레이저빔을 조사하는 라인 레이저모듈을 포함하는 프로파일 센서부와; 상기 프로파일 센서부를 피검사물을 검사하기 위한 위치로 이동시키는 이송부와;
이더넷 통신과 시리얼 통신을 지원하는 통신부와; 상기 이더넷 통신을 통해 상기 프로파일 센서부의 동작을 제어하고, 상기 시리얼 통신을 통해 상기 이송부의 동작을 제어하는 제어부와; 상기 프로파일 센서부로부터 피검사물 영상 데이터와 레이저 프로파일 데이터를 수신하여 3D 캘리브레이션을 처리하는 영상처리부를 포함한다.
본 발명에 따른 용접비드 비전 검사 장치는 시리얼 통신과 공정 제어반에 탑재된 디바이스 넷 통신을 연결하는 통신변환장치를 더 포함한다.
본 발명에 따른 용접비드 비전 검사 장치의 영상처리부는, 카메라모듈로부터 평면 캘리브레이터 2D 영상과 레이저 프로파일 데이터를 수신하여 카메라의 내부 매개변수와 제1 회전 행렬 및 이동변환 행렬을 포함하는 외부 매개변수를 추정하고, 상기 평면 캘리브레이터 2D 영상에서 캘리브레이터 상의 4개의 특징점 좌표를 추출하고,
상기 제1 회전 행렬 및 이동변환 행렬을 이용해 상기 4개의 특징점의 좌표를 카메라 좌표로 변환한 후, 상기 카메라 좌표로 변환된 4개의 특징점을 이용해 캘리브레이터의 평면 방정식 산출하고, 상기 캘리브레이터의 평면 방정식을 이용해 2D 영상에서의 프로파일 데이터를 모두 카메라 좌표로 변환하고, 상기 카메라 좌표로 변환한 프로파일 데이터를 제어점으로 등록한 후 등록된 모든 제어점을 이용해 카메라 좌표계에서의 레이저 평면 방정식을 추정하는 것을 특징으로 한다.
본 발명에 따른 카메라모듈과 라인 레이저모듈을 포함하는 용접비드 비전 검사 장치에서 실행되는 3D 캘리브레이션 방법은, a) 평면 캘리브레이터의 자세를 변경하면서 복수의 평면 캘리브레이터 2D 영상과 레이저 프로파일 데이터를 획득하는 단계와; b) 상기 복수의 평면 캘리브레이터 2D 영상과 레이저 프로파일 데이터 중 제1 2D 영상에서 캘리브레이터의 제1 회전 행렬 및 이동변환 행렬을 포함하는 외부 매개변수를 추정하는 단계와;
c) 상기 제1 2D 영상에서 캘리브레이터의 꼭지점 중 최외곽 4개의 꼭지점(특징점) 좌표 추출하는 단계와; d) 상기 제1 회전 행렬 및 이동변환 행렬을 이용해 상기 4개의 특징점의 월드 좌표를 카메라 좌표로 변환하는 단계와; e) 상기 카메라 좌표로 변환된 4개의 특징점을 이용해 캘리브레이터의 평면 방정식 산출하는 단계와; f) 상기 캘리브레이터의 평면 방정식을 이용해 제1 2D 영상에서의 프로파일 데이터를 모두 카메라 좌표로 변환하는 단계와;
g) 상기 카메라 좌표로 변환한 프로파일 데이터를 제어점으로 등록하는 단계; 및 남은 2D 영상과 프로파일 데이터가 있는지를 판단하여 그 결과 긍정이면 a) 단계부터 g) 단계를 반복하고, 부정이면 등록된 모든 제어점을 이용해 카메라 좌표계에서의 레이저 평면 방정식을 추정하는 단계를 포함한다.
상술한 바와 같이 본 발명에 따르면, 복수의 정사각형을 가지며 서로 이웃하는 정사각형의 꼭지점이 교차하는 평면 캘리브레이터 하나를 이용하여 카메라 캘리브레이션과 3D 광 삼각법 캘리브레이션을 모두 처리하도록 구현됨으로써, 기존의 서로 수직한 3개의 면을 가진 캘리브레이터를 사용하는 방법(McIvor), 형상이 복잡하고 제작비용이 비싼 캘리브레이터를 사용하는 방법(Sanjeev), 또는 카메라 캘리브레이션과 3D 광 삼각법 캘리브레이션을 위해 별도의 캘리브레이터를 사용하는 방법(Sun) 보다 더욱 경제적이고 캘리브레이션 오차가 적은 효과가 있다.
도 1 은 본 발명에 따른 용접비드 비전 검사 장치의 구성을 설명하기 위한 예시도이다.
도 2a는 카메라모듈의 핀쿠션 왜곡(pincushion distortion)을, 도 2b는 배럴 왜곡(barrel distortion)을 나타낸다.
도 3 은 본 발명에 따른 용접비드 비전 검사 장치에서 실행되는 3D 캘리브레이션 방법에 대한 흐름도이다.
도 4 는 라인 레이저를 평면 캘리브레이터에 조사하는 영상에 대한 예시도이다.
도 5 는 레이저 평면을 추정하는 과정을 설명하기 위한 예시도이다.
이하, 첨부된 도면을 참조하여 전술한, 그리고 추가적인 양상을 기술되는 바람직한 실시예를 통하여 본 발명을 당업자가 용이하게 이해하고 재현할 수 있도록 상세히 설명하기로 한다.
본 발명에 따른 용접비드 비전 검사 장치(100)는 도 1에 도시한 바와 같이, 프로파일 센서부(110)와 이송부(120)와 통신부(130)와 제어부(140)와 영상처리부(150)와 표시부(160)를 포함하여 구현될 수 있다.
프로파일 센서부(110)는 피검사물을 촬영하는 카메라모듈과 피검사물에 레이저빔을 조사하는 라인 레이저모듈을 포함하여 구현될 수 있다.
카메라모듈은 렌즈체와 촬상부와 데이터 변환부로 구성되며, 렌즈체로부터 입력되는 광신호를 촬상부에 의해 전기적인 영상 신호로 변환하여 출력한다.
촬상부는 렌즈체로부터 입력되는 광신호를 전기신호로 바꿔서 디지털 신호로 변환하여 출력한다. 촬상부는 통상 CMOS 촬상소자 또는 CCD 촬상소자로 구성되며, 각 픽셀별로 빛을 전기적인 신호로 변환하여 클럭에 동기시켜 순차적으로 출력하는 공지의 이미지 센서 소자이다.
데이터 변환부는 촬상부에서 출력되는 영상 밝기에 비례한 전류 또는 전압을 약간의 처리를 거쳐 디지털 데이터로 변환하고, 이 데이터값을 YUV 형식으로 변환하여 출력한다.
라인 레이저모듈은 피검사물에 레이저광을 조사하였을 때 피검사물의 표면에 라인(Line), 즉 선의 형태로 레이저광이 표현되도록 구현된 장치이다. 라인 레이저모듈은 카메라모듈과 일체화 하여 구성될 수 있다. 일례로, 피검사물과의 간섭을 예방하기 위해 라인 레이저모듈과 피검사물과의 기준 거리는 200mm로 결정할 수 있다. 기준 거리에 있는 피검사물을 검사하기 위해 렌즈의 초점 거리를 적절하게 조정하면 된다. 이때 피검사물 심도는 40mm이다. 외부 광원의 유입을 예방하기 위하여 렌즈의 끝단에 선정한 레이저 파장에 적합한 밴드 패스 필터(band pass filter)를 설치하는 것도 좋은 방법이다.
이송부(120)는 프로파일 센서부(110)를 피검사물을 검사하기 위한 위치로 이동시키는 역할을 한다. 이송부(120)는 전동 로터리로 구현될 수 있다. 다른 예로, 피검사물 또는 검사 환경에 따라 로봇 또는 리니어 스테이지도 가능한다.
통신부(130)는 이더넷 통신과 시리얼 통신을 지원하는 역할을 한다. 제어부(140)는 이더넷 통신을 통해 프로파일 센서부(110)의 동작을 제어하고, 시리얼 통신을 통해 이송부(120)의 동작을 제어한다. 영상처리부(150)는 프로파일 센서부(110)로부터 피검사물 영상 데이터와 레이저 프로파일 데이터를 수신하여 3D 캘리브레이션을 처리한다.
영상처리부(150)는 카메라모듈로부터 평면 캘리브레이터 2D 영상과 레이저 프로파일 데이터를 수신하여 카메라의 내부 매개변수와 제1 회전 행렬 및 이동변환 행렬을 포함하는 외부 매개변수를 추정한다.
용접비드 비전 검사 장치(100)는 정확한 치수 측정을 위하여 카메라 캘리브레이션으로 왜곡을 교정해야 한다. 카메라모듈은 도 2a에 도시한 바와 같이, 영상 평면(image plane)의 중심에서 가장자리로 갈수록 영상 센서(image sensor)로 사영(project)된 물체가 안쪽을 향하여 휘어지는 핀쿠션 왜곡(pincushion distortion) 또는 도 2b에 도시한 바와 같이 영상 평면(image plane)의 중심에서 가장자리로 갈수록 영상 센서(image sensor)로 사영(project)된 물체가 바깥쪽을 향하여 휘어지는 배럴 왜곡(barrel distortion)이 나타날 수 있다.
이러한 핀쿠션 왜곡(pincushion distortion) 또는 배럴 왜곡(barrel distortion)을 교정하기 위해 월드 좌표계의 한 점[
Figure pat00001
]으로부터 2D 영상 좌표계의 한 점[
Figure pat00002
]으로 변환하는 방법을 사용한다.
월드 좌표계의 한 점[
Figure pat00003
]으로부터 2D 영상 좌표계의 한 점[
Figure pat00004
]으로 변환하는 방법은 먼저, 월드 좌표계의 한 점[
Figure pat00005
]으로부터 카메라 좌표계의 한 점[
Figure pat00006
]으로 변환하는 것이다. 변환식은 식(1)과 같다.
Figure pat00007
(1)
월드 좌표계와 카메라 좌표계 간의 관계는 회전 행렬 R과 이동변환 행렬 T에 의해 결정된다.
여기서, 회전 행렬
Figure pat00008
이고, 이동변환 행렬
Figure pat00009
로 정의된다. 이후, 3차원 카메라 좌표계에서 2차원 영상 센서로의 사영 변환(projective transformation)을 하는 것이다. 사영 변환(projective transformation)식은 식(2)와 같다.
Figure pat00010
(2)
여기서, [
Figure pat00011
]는 렌즈에 의한 왜곡이 존재하지 않는 무왜곡 좌표계의 좌표이다. 렌즈에 의한 방사 왜곡, 즉 핀쿠션 왜곡(pincushion distortion) 또는 배럴 왜곡(barrel distortion)은 식(3)과 같이 표준 다항식 모델을 이용하여 표현할 수 있으며, [
Figure pat00012
]는 왜곡 좌표계(distorted image coordinates)의 한 점 [
Figure pat00013
]으로 변환된다.
Figure pat00014
(3)
여기서,
Figure pat00015
,
왜곡 좌표계에서 영상 좌표계로의 변환은 식(4)와 같다.
Figure pat00016
Figure pat00017
여기서,
Figure pat00018
는 카메라 내부 매개 변수(intrinsic parameter)이다.
카메라의 내부 매개변수는 카메라의 가로, 세로 방향의 초점 거리(focal length)를 의미하는 α, β, 카메라모듈의 이미지 센서의 종횡비(aspect ratio)를 의미하는 γ, 광축과 이미지 센서가 만나는 광점(optical point)인
Figure pat00019
로 구성된다.
카메라 캘리브레이션으로 추정하는 변수는 카메라 내부 매개 변수 행렬, 외부 매개 변수(extrinsic parameter)인 회전 행렬 R 과 이동변환 행렬 T, 왜곡 모델 계수 K=(k1, k2)이다.
본 발명에 따른 용접비드 비전 검사 장치(100)는 복수의 정사각형을 가지며, 서로 이웃하는 정사각형의 꼭지점이 교차하는 평면 캘리브레이터를 포함한다. 카메라 캘리브레이션에 사용되는 캘리브레이터의 패턴은 그림 4와 같다. 실험에 사용된 패턴의 정사각형 한 변의 길이는 2mm이며 캘리브레이션을 위해 사용하는 특징 점(Feature point)은 정사각형 사이의 교차점이다. 한 영상에서 사용하는 특징 점의 수는 총 360개(가로 24개, 세로 15개)이다. 캘리브레이션을 위해 캘리브레이터의 자세를 변경하면서 총 9장의 영상을 획득한다. 특징 점의 좌표와 좌표계 간의 변환 관계식을 이용하여 비선형 최소자승법으로 매개 변수를 추정한다.
영상처리부(150)는 평면 캘리브레이터 2D 영상에서 캘리브레이터 상의 4개의 특징점 좌표를 추출하고, 제1 회전 행렬 및 이동변환 행렬을 이용해 상기 4개의 특징점의 좌표를 카메라 좌표로 변환한 후, 상기 카메라 좌표로 변환된 4개의 특징점을 이용해 캘리브레이터의 평면 방정식 산출한다.
2차원인 레이저 프로파일 데이터의 영상 좌표를 3차원인 월드 좌표계로 변환할 때 카메라 캘리브레이션 과정에서 추정한 카메라 내부 변수와 왜곡 계수만으로는 부족하다. 그 이유는 3차원 공간에 있는 무수히 많은 점이 영상 센서 상에 한 점으로 투영되기 때문이다.
카메라 좌표계에서 라인 레이저가 만드는 레이저 평면의 방정식을 알고 있다면 2차원의 좌표로부터 3차원 좌표로 변환이 가능하다. Sun은 광 삼각법 캘리브레이션을 위해 별도의 캘리브레이터를 제작하여 사용하였다. 본원발명은 그림 5와 같이 카메라 캘리브레이션 단계에서 평면 캘리브레이터의 영상 획득 시 라인 레이저를 조사하고 레이저 프로파일 데이터를 동시에 획득한다.
영상처리부(150)는 캘리브레이터의 평면 방정식을 이용해 2D 영상에서의 프로파일 데이터를 모두 카메라 좌표로 변환하고, 상기 카메라 좌표로 변환한 프로파일 데이터를 제어점으로 등록한 후 등록된 모든 제어점을 이용해 카메라 좌표계에서의 레이저 평면 방정식을 추정한다.
본 발명에 따른 용접비드 비전 검사 장치에서 실행되는 3D 캘리브레이션 방법은 도 3에 도시한 바와 같다. 여기서, 용접비드 비전 검사 장치는 피검사물을 촬영하는 카메라모듈과 피검사물에 레이저빔을 조사하는 라인 레이저모듈을 포함하는 프로파일 센서부와 복수의 정사각형을 가지며, 서로 이웃하는 정사각형의 꼭지점이 교차하는 평면 캘리브레이터를 포함한다.
도 3을 참조하면, 본 발명에 따른 용접비드 비전 검사 장치는 먼저, 평면 캘리브레이터의 자세를 변경하면서 복수의 평면 캘리브레이터 2D 영상과 레이저 프로파일 데이터를 획득한다(S311).
단계 S311 이후, 본 발명에 따른 용접비드 비전 검사 장치는 복수의 평면 캘리브레이터 2D 영상과 레이저 프로파일 데이터 중 제1 2D 영상에서 캘리브레이터의 제1 회전 행렬 및 이동변환 행렬을 포함하는 외부 매개변수를 추정한다(S312).
단계 S312는 복수의 평면 캘리브레이터 2D 영상과 레이저 프로파일 데이터 중 제1 2D 영상에서 카메라의 내부 매개변수를 추정하는 단계를 더 포함할 수 있다.
일례로, 카메라의 내부 매개변수는 카메라의 가로, 세로 방향의 초점 거리(focal length)를 의미하는 α,?β, 카메라모듈의 이미지 센서의 종횡비(aspect ratio)를 의미하는 γ, 광축과 이미지 센서가 만나는 광점(optical point)인
Figure pat00020
로 구성되고,
상기 카메라의 내부 매개변수는,
Figure pat00021
로 표현되는 행렬식이다.
단계 S312 이후, 본 발명에 따른 용접비드 비전 검사 장치는 제1 2D 영상에서 캘리브레이터의 꼭지점 중 최외곽 4개의 꼭지점(특징점) 좌표 추출한다(S313).
단계 S313 이후, 본 발명에 따른 용접비드 비전 검사 장치는 제1 회전 행렬 및 이동변환 행렬을 이용해 상기 4개의 특징점의 월드 좌표를 카메라 좌표로 변환한다(S314).
단계 S314 이후, 본 발명에 따른 용접비드 비전 검사 장치는 카메라 좌표로 변환된 4개의 특징점을 이용해 캘리브레이터의 평면 방정식 산출한다(S315).
단계 S315 이후, 본 발명에 따른 용접비드 비전 검사 장치는 캘리브레이터의 평면 방정식을 이용해 제1 2D 영상에서의 프로파일 데이터를 모두 카메라 좌표로 변환한다(S316).
단계 S316 이후, 본 발명에 따른 용접비드 비전 검사 장치는 카메라 좌표로 변환한 프로파일 데이터를 제어점으로 등록한다(S317).
단계 S317 이후, 본 발명에 따른 용접비드 비전 검사 장치는 남은 2D 영상과 프로파일 데이터가 있는지를 판단하여(S318) 판단결과 긍정이면 단계 S312부터 S317을 반복하고, 부정이면 등록된 모든 제어점을 이용해 카메라 좌표계에서의 레이저 평면 방정식을 추정한다(S319).
지금까지, 본 명세서에는 본 발명이 속하는 기술 분야에서 통상의 지식을 지닌 자가 본 발명을 용이하게 이해하고 재현할 수 있도록 도면에 도시한 실시예들을 참고로 설명되었으나 이는 예시적인 것에 불과하며, 당해 기술분야에 통상의 지식을 지닌 자라면 본 발명의 실시예들로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 진정한 기술적 보호범위는 첨부된 청구범위에 의해서만 정해져야 할 것이다.

Claims (5)

  1. 복수의 정사각형을 가지며, 서로 이웃하는 정사각형의 꼭지점이 교차하는 평면 캘리브레이터와;
    피검사물을 촬영하는 카메라모듈과 피검사물에 레이저빔을 조사하는 라인 레이저모듈을 포함하는 프로파일 센서부와;
    상기 프로파일 센서부를 피검사물을 검사하기 위한 위치로 이동시키는 이송부와;
    이더넷 통신과 시리얼 통신을 지원하는 통신부와;
    상기 이더넷 통신을 통해 상기 프로파일 센서부의 동작을 제어하고, 상기 시리얼 통신을 통해 상기 이송부의 동작을 제어하는 제어부와;
    상기 프로파일 센서부로부터 피검사물 영상 데이터와 레이저 프로파일 데이터를 수신하여 3D 캘리브레이션을 처리하는 영상처리부;
    를 포함하는 용접비드 비전 검사 장치.
  2. 청구항 1 에 있어서,
    상기 시리얼 통신과 공정 제어반에 탑재된 디바이스 넷 통신을 연결하는 통신변환장치;
    를 더 포함하는 용접비드 비전 검사 장치.
  3. 청구항 1 에 있어서,
    상기 영상처리부는,
    상기 카메라모듈로부터 평면 캘리브레이터 2D 영상과 레이저 프로파일 데이터를 수신하여 카메라의 내부 매개변수와 제1 회전 행렬 및 이동변환 행렬을 포함하는 외부 매개변수를 추정하고,
    상기 평면 캘리브레이터 2D 영상에서 캘리브레이터 상의 4개의 특징점 좌표를 추출하고,
    상기 제1 회전 행렬 및 이동변환 행렬을 이용해 상기 4개의 특징점의 좌표를 카메라 좌표로 변환한 후, 상기 카메라 좌표로 변환된 4개의 특징점을 이용해 캘리브레이터의 평면 방정식 산출하고,
    상기 캘리브레이터의 평면 방정식을 이용해 2D 영상에서의 프로파일 데이터를 모두 카메라 좌표로 변환하고,
    상기 카메라 좌표로 변환한 프로파일 데이터를 제어점으로 등록한 후 등록된 모든 제어점을 이용해 카메라 좌표계에서의 레이저 평면 방정식을 추정하는 것,
    을 특징으로 하는 용접비드 비전 검사 장치.
  4. 카메라모듈과 라인 레이저모듈을 포함하는 용접비드 비전 검사 장치에서 실행되는 3D 캘리브레이션 방법으로서,
    a) 평면 캘리브레이터의 자세를 변경하면서 복수의 평면 캘리브레이터 2D 영상과 레이저 프로파일 데이터를 획득하는 단계;
    b) 상기 복수의 평면 캘리브레이터 2D 영상과 레이저 프로파일 데이터 중 제1 2D 영상에서 캘리브레이터의 제1 회전 행렬 및 이동변환 행렬을 포함하는 외부 매개변수를 추정하는 단계;
    c) 상기 제1 2D 영상에서 캘리브레이터의 꼭지점 중 최외곽 4개의 꼭지점(특징점) 좌표 추출하는 단계;
    d) 상기 제1 회전 행렬 및 이동변환 행렬을 이용해 상기 4개의 특징점의 월드 좌표를 카메라 좌표로 변환하는 단계;
    e) 상기 카메라 좌표로 변환된 4개의 특징점을 이용해 캘리브레이터의 평면 방정식 산출하는 단계;
    f) 상기 캘리브레이터의 평면 방정식을 이용해 제1 2D 영상에서의 프로파일 데이터를 모두 카메라 좌표로 변환하는 단계;
    g) 상기 카메라 좌표로 변환한 프로파일 데이터를 제어점으로 등록하는 단계; 및
    남은 2D 영상과 프로파일 데이터가 있는지를 판단하여 그 결과 긍정이면 a) 단계부터 g) 단계를 반복하고, 부정이면 등록된 모든 제어점을 이용해 카메라 좌표계에서의 레이저 평면 방정식을 추정하는 단계;
    를 포함하는 3D 캘리브레이션 방법.
  5. 청구항 4 에 있어서,
    상기 b) 단계는,
    상기 복수의 평면 캘리브레이터 2D 영상과 레이저 프로파일 데이터 중 제1 2D 영상에서 카메라의 내부 매개변수를 추정하는 단계를 더 포함하며,
    상기 카메라의 내부 매개변수는,
    카메라의 가로, 세로 방향의 초점 거리(focal length)를 의미하는 α,?β, 카메라모듈의 이미지 센서의 종횡비(aspect ratio)를 의미하는 γ, 광축과 이미지 센서가 만나는 광점(optical point)인
    Figure pat00022
    로 구성되고,
    상기 카메라의 내부 매개변수는,
    Figure pat00023

    로 표현되는 행렬식인 것을 특징으로 하는 3D 캘리브레이션 방법.
KR1020180048429A 2018-04-26 2018-04-26 용접비드 비전 검사 장치 및 3d 캘리브레이션 방법 KR102064149B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180048429A KR102064149B1 (ko) 2018-04-26 2018-04-26 용접비드 비전 검사 장치 및 3d 캘리브레이션 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180048429A KR102064149B1 (ko) 2018-04-26 2018-04-26 용접비드 비전 검사 장치 및 3d 캘리브레이션 방법

Publications (2)

Publication Number Publication Date
KR20190124451A true KR20190124451A (ko) 2019-11-05
KR102064149B1 KR102064149B1 (ko) 2020-01-09

Family

ID=68577098

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180048429A KR102064149B1 (ko) 2018-04-26 2018-04-26 용접비드 비전 검사 장치 및 3d 캘리브레이션 방법

Country Status (1)

Country Link
KR (1) KR102064149B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113791086A (zh) * 2021-09-08 2021-12-14 天津大学 基于计算机视觉的扇形段叶片表面缺陷测量方法及装置
CN116972770A (zh) * 2023-09-22 2023-10-31 山西电机制造有限公司 一种基于视觉检测的电机转轴尺寸测量设备及方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050069418A (ko) 2003-12-31 2005-07-05 삼성중공업 주식회사 용접로봇의 레이저 비전 센서 캘리브레이션 장치
KR20170119901A (ko) 2016-04-20 2017-10-30 아진산업(주) 용접 비드 검사 장치

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6470600B2 (ja) * 2015-03-12 2019-02-13 株式会社ワイテック 溶接部の検査装置
KR101811233B1 (ko) * 2016-06-17 2017-12-20 주식회사 동희산업 좌표변환방식 크로스멤버 품질검사방법과 측정시스템 및 토탈 관리 시스템

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050069418A (ko) 2003-12-31 2005-07-05 삼성중공업 주식회사 용접로봇의 레이저 비전 센서 캘리브레이션 장치
KR20170119901A (ko) 2016-04-20 2017-10-30 아진산업(주) 용접 비드 검사 장치

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113791086A (zh) * 2021-09-08 2021-12-14 天津大学 基于计算机视觉的扇形段叶片表面缺陷测量方法及装置
CN116972770A (zh) * 2023-09-22 2023-10-31 山西电机制造有限公司 一种基于视觉检测的电机转轴尺寸测量设备及方法
CN116972770B (zh) * 2023-09-22 2023-12-01 山西电机制造有限公司 一种基于视觉检测的电机转轴尺寸测量设备及方法

Also Published As

Publication number Publication date
KR102064149B1 (ko) 2020-01-09

Similar Documents

Publication Publication Date Title
KR102056076B1 (ko) 용접비드 비전 검사 장치 및 용접 불량 검사방법
CN111505606A (zh) 多相机与激光雷达系统相对位姿检校方法及装置
CN104331896B (zh) 一种基于深度信息的系统标定方法
CN103759638B (zh) 一种零件检测方法
EP1343332B1 (en) Stereoscopic image characteristics examination system
CN104416290B (zh) 激光加工装置
CN107121093A (zh) 一种基于主动视觉的齿轮测量装置及测量方法
JP2005201861A (ja) ３次元視覚センサ
CN112629441A (zh) 基于线结构光动态视觉的3d曲面玻璃轮廓扫描检测方法及系统
KR102064149B1 (ko) 용접비드 비전 검사 장치 및 3d 캘리브레이션 방법
CN106918306A (zh) 基于光场单相机的工业产品三维形貌实时检测系统
CN114022370B (zh) 一种振镜激光加工畸变校正方法及系统
CN114705122B (zh) 一种大视场立体视觉标定方法
CN102538707B (zh) 一种对工件进行三维定位的装置及方法
CN116187158A (zh) 一种多目视觉测量系统中多相机的自动布局方法
CN110779933A (zh) 基于3d视觉传感阵列的表面点云数据获取方法和系统
CN109636859A (zh) 一种基于单相机的三维视觉检测的标定方法
CN109373901B (zh) 位于平面上的孔的中心位置的计算方法
CN116858139A (zh) 基于双目视觉的金属结构平面度测量方法
JP4077755B2 (ja) 位置検出方法、その装置及びそのプログラム、並びに、較正情報生成方法
CN110849285A (zh) 基于单目相机的焊点深度测量方法、系统及介质
CN112361982B (zh) 一种大幅面工件三维数据提取方法及系统
WO2022014215A1 (ja) 処理装置及び車載カメラ装置
CN113533498A (zh) 自动化涡流探伤系统的焊缝检测定位方法及定位装置
CN112894133A (zh) 一种激光焊接系统和焊点位置提取方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant