KR100695945B1 - 용접선 위치 추적 시스템 및 그 위치 추적 방법 - Google Patents

용접선 위치 추적 시스템 및 그 위치 추적 방법 Download PDF

Info

Publication number
KR100695945B1
KR100695945B1 KR1020060014610A KR20060014610A KR100695945B1 KR 100695945 B1 KR100695945 B1 KR 100695945B1 KR 1020060014610 A KR1020060014610 A KR 1020060014610A KR 20060014610 A KR20060014610 A KR 20060014610A KR 100695945 B1 KR100695945 B1 KR 100695945B1
Authority
KR
South Korea
Prior art keywords
welding
image
threshold value
black
sensing threshold
Prior art date
Application number
KR1020060014610A
Other languages
English (en)
Inventor
강민구
우상혁
김성한
Original Assignee
삼성중공업 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성중공업 주식회사 filed Critical 삼성중공업 주식회사
Priority to KR1020060014610A priority Critical patent/KR100695945B1/ko
Application granted granted Critical
Publication of KR100695945B1 publication Critical patent/KR100695945B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K9/00—Arc welding or cutting
    • B23K9/12—Automatic feeding or moving of electrodes or work for spot or seam welding or cutting
    • B23K9/127—Means for tracking lines during arc welding or cutting
    • B23K9/1272—Geometry oriented, e.g. beam optical trading
    • B23K9/1274—Using non-contact, optical means, e.g. laser means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K26/00—Working by laser beam, e.g. welding, cutting or boring
    • B23K26/02—Positioning or observing the workpiece, e.g. with respect to the point of impact; Aligning, aiming or focusing the laser beam
    • B23K26/04—Automatically aligning, aiming or focusing the laser beam, e.g. using the back-scattered light
    • B23K26/044—Seam tracking
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K9/00—Arc welding or cutting
    • B23K9/095—Monitoring or automatic control of welding parameters
    • B23K9/0956—Monitoring or automatic control of welding parameters using sensing means, e.g. optical
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis

Abstract

본 발명에 의하면, 흑백 원 영상에서 그레이 레벨(gray level)에 따른 빈도수를 측정하여 배경(background)과 레이저 띠(laser stripe)를 분리할 수 있는 최적의 드레쉬홀드(threshold) 값을 계산하는 방법을 이용하여, 용접 중에는 용접선을 찾을 때보다는 드레쉬홀드 값을 낮게 설정하여 영상 처리를 수행함으로써 보다 정확한 정보를 측정할 수 있는 효과가 있다.
용접선, 위치 추적, 그레이 레벨, 드레쉬홀드 값,

Description

용접선 위치 추적 시스템 및 그 위치 추적 방법{The system for tracking the position of welding line and the position tracking method thereof}
도 1은 종래의 용접선 위치 추적 시스템을 개략적으로 나타난 구성도이다.
도 2a는 종래의 밴드 패스 필터와 흑백 CCD 카메라로 획득한 흑백 원 영상이다.
도 2b는 도 2a에서 획득한 영상을 고정된 드레쉬홀드 값으로 이진화한 영상이다.
도 3은 본 발명의 용접선 위치 추적 시스템을 개략적으로 나타낸 구성도이다.
도 4는 본 발명의 용접선 위치 추적 시스템의 영상 처리부를 개략적으로 나타낸 도면이다.
도 5는 도 4의 영상 처리부가 수행하는 작업의 흐름도이다.
도 6은 본 발명의 히스토그램 데이터 수집부에서 수집된 흑백 원 영상의 히스토그램이다.
도 7은 본 발명의 1차 미분값의 절대값 연산부에서 히스토그램 데이터를 1차 미분한 후에 절대값을 취하여 얻은 히스토그램이다.
도 8은 본 발명의 영상 처리부에서 획득된 개선된 영상이다.
도 9는 본 발명의 용접선 위치 추적 시스템에서 영상좌표를 실좌표로 변환하는 원리를 나타낸 도면이다.
도 10은 본 발명의 캘리브레이션 지그에 대한 센서의 상대적인 위치를 변경시키면서 잡은 3개의 영상을 나타낸 도면이다.
도 11은 도 10에서 계산된 영상좌표를 하나의 영상에 나타낸 도면이다.
본 발명은 용접선 위치 추적 시스템 및 그 위치 추적 방법에 관한 것으로, 용접 시작시 용접 시작점을 찾기 위한 드레쉬홀드(threshold) 값 설정 시 흑백 원 영상에서 그레이 레벨(gray level)에 따른 빈도수(frequency)를 측정하여 배경과 레이저 띠(laser stripe)를 분리할 수 있는 최적의 드레쉬홀드(threshold) 값을 계산하는 방법을 이용한 용접선 위치 추적 시스템 및 그 위치 추적 방법에 관한 것이다.
도 1은 종래의 용접선 위치 추적 시스템을 개략적으로 나타난 구성도이다. 도 1을 참조하면, 종래의 용접선 위치 추적 시스템은 크게 로봇 제어부(10)와 센서 제어부(20), 용접 로봇(30) 및 레이저 비젼 센서(40)를 포함한다.
상기 로봇 제어부(10)는 용접 로봇(30)을 제어시키기 위한 프로세서(11)와 용접 로봇(30)의 주기적인 제어를 위한 타이머(timer, 12)를 갖추고 있다. 또한, 로봇 제어부(10)는 용접 로봇(30)의 제어를 위한 실행 프로그램과 프로그램의 실행 중에 처리해야 할 정보들을 저장한다.
상기 센서 제어부(20)는 레이저 비젼 센서(Laser Vision Sensor, 이하 LVS, 40)를 구동하기 위한 센서 구동부(21), LVS(40)로부터 얻어진 영상 데이터를 처리하기 위한 영상 처리부(22) 및 처리한 영상으로부터 용접선의 좌표를 얻어내기 위한 좌표 변환부(23)로 구성된다.
도 2a는 종래의 밴드 패스 필터와 흑백 CCD 카메라로 획득한 흑백 원 영상이다. 도 2a를 참조하면, 종래에는 스틸 부재에 레이저 광원(658±4nm)을 조사한 후에 반사된 광을 밴드 패스 필터(660±5nm)를 거쳐 흑백 CCD(Charge Coupled Device) 카메라로 영상을 획득하였다. 상기 흑백 원 영상에서는 용접 시작점을 찾거나 용접선에 대한 정보를 추출할 수 있는데, 흑백 원 영상만으로 정보를 추출하기에는 부재의 청결 정도, 센서의 측정 위치, 아크광 및 스패터의 영향 등으로 인하여 정확한 정보를 추출하기에는 힘든 단점이 있다.
도 2b는 도 2a에서 획득한 영상을 고정된 드레쉬홀드 값으로 이진화한 영상이다. 도 2b를 참조하면, 종래에는 영상 처리에 있어 임의의 드레쉬홀드 값을 정하고, 배경과 레이저 띠를 분리하여 미리 영상을 처리하였다.
상기와 같은 방법은 용접 중에 스패터와 흄의 영향을 고려하여 드레쉬홀드 값을 높게 설정하였므로, 용접 시작점을 찾는 과정에서 시작점을 찾지 못하거나 잘못된 시작점을 찾게 되는 단점이 있었다.
본 발명은 상기와 같은 문제점을 해결하기 위한 것으로써, 높은 드레쉬홀드 값으로 인하여 시작점을 찾지 못하는 문제를 해결하고 정확한 정보를 측정할 수 있는 용접선 위치 추적 시스템 및 그 위치 추적 방법을 제공하는 것을 목적으로 한다.
본 발명은 타이머와 메모리를 포함하는 로봇 제어부, 센서 구동부와 영상 처리부를 포함하는 센서 제어부, 용접 로봇 및 레이저 비젼 센서를 포함하는 용접선 위치 추적 시스템에 있어서, 상기 영상 처리부는, 용접 중에 용접선을 찾기 위해, 용접선 정보 추출을 위한 웰딩 드레쉬홀드 값을 설정하는 웰딩 드레쉬홀드 설정부; 및 상기 영상 처리부로부터 촬영된 흑백 원 영상 데이터의 그레이 레벨에 따른 빈도수를 전달받아, 용접 시작시 용접 시작점을 찾기 위해 용접선 정보 추출을 위한 상기 웰딩 드레쉬홀드 값보다 낮은 센싱 드레쉬홀드 값을 설정하는 센싱 드레쉬홀드 설정부;를 포함하는 것을 특징으로 하는 용접선 위치 추적 시스템을 제시한다.
또한, 본 발명은 타이머와 메모리를 포함하는 로봇 제어부, 센서 구동부와 영상 처리부를 포함하는 센서 제어부, 용접 로봇 및 레이저 비젼 센서를 포함하는 용접선 위치 추적 시스템의 위치 추적 방법에 있어서, 용접 시작시 촬영된 흑백 원 영상 데이터의 그레이 레벨에 따른 빈도수를 이용하여 센싱 드레쉬홀드 값을 설정하여 용접 시작점 정보를 추출하는 단계; 및 용접 중에 상기 센싱 드레쉬홀드 값보 다 높은 웰딩 드레쉬홀드 값을 설정하여 용접선 정보를 추출하는 단계를 포함하며,상기 센싱 드레쉬홀드 값을 설정하여 용접 시작점 정보를 추출하는 단계는, 레이저 비젼 센서로부터 조사되어 반사된 광을 흑백 CCD 카메라를 이용하여 입력받아 밴드 패스 필터를 거쳐 흑백 원 영상을 획득하는 제1단계; 상기 획득된 흑백 원 영상을 이용하여 각각의 그레이 레벨의 빈도수를 측정하여 히스토그램 데이터를 수집하는 제2단계; 상기 수집된 히스토그램 데이터에서 히스토그램 데이터를 1차 미분한 후, 절대값을 취하는 제3단계; 상기 절대값을 나타내는 히스토그램에서, 가장 급격하게 빈도수가 떨어지는 지점의 그레이 레벨을 센싱 드레쉬홀드 값으로 설정하는 제4단계; 상기 설정된 센싱 드레쉬홀드 값을 기준으로 이진화하여 영상을 획득하는 제5단계; 및 상기 획득된 영상으로부터 상기 레이저 비젼 센서가 계측하고자 하는 점을 추출하여 위치정보를 측정한 후, 2차원의 영상좌표를 3차원의 실좌표로 변환하여 로봇 제어부의 프로세서로 전송하는 제6단계;를 포함하는 것을 특징으로 하는 용접선 위치 추적 시스템의 위치 추적 방법을 제시한다.
이하, 본 발명을 도면을 통하여 상세히 설명하기로 한다.
도 3은 용접선 위치 추적 시스템을 개략적으로 나타낸 구성도이다. 도 3을 참조하면, 본 발명의 용접선 위치 추적 시스템은 로봇 제어부(100), 센서 제어부(200), 용접 로봇(300) 및 LVS(400)를 포함한다.
상기 로봇 제어부(100)는 타이머(120), 메모리(130), 좌표 변환부(140), 로봇 구동부(150) 및 프로세서(110)를 포함하는데, 용접 토치(310)에 대한 용접의 위빙 좌표를 산출하고, 용접 로봇(300)을 제어한다.
상기 타이머(120)는 설정된 시간이 경과할 때마다 계수 완료 신호를 전송하고, 상기 메모리(130)는 피용접물(500)의 용접선의 중심점 좌표를 저장하고, 용접선 정보의 정상적인 수신 여부를 확인하여 이를 저장한다. 그리고, 상기 좌표 변환부(140)는 용접선의 3차원 좌표를 위빙 좌표로 변환한다. 또한, 상기 프로세서(110)는 타이머(120), 메모리(130), 좌표 변환부(140) 및 로봇 구동부(150)와 연동하고, 타이머(120)의 완료 신호에 응답하여 용접 부위를 촬영하기 위한 요청 신호를 전송한다. 또한, 상기 프로세서(110)는 타이머(120)의 설정 시간이 경과할 때마다 용접 로봇(300)의 위치와 메모리(130)에 저장된 중심점에 대한 3차원 좌표를 비교하고, 피용접물(500)과 용접 토치(310)의 이격 거리가 가장 짧은 중심점을 구한다.
상기 센서 제어부(200)는 센서 구동부(210)와 영상 처리부(220)를 포함하는데, 로봇 제어부(100)의 용접선 정보 요청 신호에 따라 상기 레이저 비젼 센서(Laser Vision Sensor, 이하 LVS, 400)를 구동시키고, LVS(400)가 촬영한 영상 데이터를 입력받아 용접선 정보를 프로세서(110)로 전송한다. 여기서, LVS(400)는 센서 제어부(200)의 용접선 정보 요청 신호에 따라 피용접물의 용접 부위를 촬영한다.
상기 센서 구동부(210)는 프로세서(110)의 요청 신호에 응답하여 용접선 정보 요청 신호를 LVS(400)로 전송하여 구동시키고, 영상 처리부(220)는 LVS(400)가 촬영한 영상 데이터를 입력받아 용접선 정보로 변환시켜 프로세서(110)로 전송한다.
상기 용접선 위치 추적 시스템을 개략적으로 설명하면 다음과 같다.
상기 프로세서(110)는 타이머(120)의 완료 신호가 인가되면 용접선 정보 요청 신호를 센서 구동부(210)로 전송하고, 센서 구동부(210)는 용접선 정보 요청 신호를 LVS(400)로 전송하여 촬영을 개시한다. 그리고, 타이머(120)는 용접선의 중심을 찾기 위한 샘플링 시간이 도래하면 완료 신호를 출력한다.
상기 영상 처리부(220)는 LVS(400)가 촬영한 영상 데이터를 입력받아 용접선 정보로 변환한 후, 프로세서(110)로 전송한다. 여기서, LVS(400)는 용접 토치(310)로부터 소정의 거리만큼 이격되어 설치되는데, 이는 용접 토치(310)의 화염에 의해 촬영 영상이 불량해지는 것을 방지하기 위한 것이다. 또한, LVS(400)는 센서 구동부(210)의 구동 신호에 따라 피용접물(500)의 용접 부위를 촬영하여 영상 데이터를 영상 처리부(220)로 전송하고, 피용접물(500)의 용접선 방향을 따라 이동하면서 용접선의 중심점을 촬영한다. 여기서, 프로세서(110)는 영상 처리부(220)를 통해 중심점에 대한 용접선 정보를 입력받아 메모리(300)에 저장한다.
상기 프로세서(110)는 영상 처리부(220)로부터 전송된 용접선 정보를 이용하여 용접선의 중심점을 기준으로 용접 토치(310)를 위빙하기 위한 위빙 좌표를 연산한다. 여기서, 위빙 좌표는 용접 로봇(300)의 이동 속도, 위빙 속도 및 용접 부위의 크기를 고려하여 연산된다. 또한, 프로세서(110)는 위빙 좌표에 따라 용접 로봇(300)과 용접 토치(400)를 구동시킨다.
도 4는 본 발명의 용접선 위치 추적 시스템의 영상 처리부를 개략적으로 나타낸 도면이다. 도 4를 참조하면, 본 발명의 영상 처리부(220)는 LVS가 촬영한 영 상 데이터를 입력받아 용접선 정보로 변환시켜 프로세서로 전송하는데, 웰딩 드레쉬홀드 설정부(221), 흑백 원 영상 획득부(222), 히스토그램 데이터 수집부(223), 1차 미분값의 절대값 연산부(224), 센싱 드레쉬홀드 설정부(225), 영상 처리부(226) 및 위치정보 측정부(227)를 포함한다. 하기에서 본 발명의 영상 처리부의 각 부분에 대하여 상세히 살펴보기로 한다.
상기 웰딩 드레쉬홀드 설정부(221)는 용접 중에 용접선을 찾기 위해, 용접선 정보 추출을 위한 웰딩 드레쉬홀드 값을 설정한다. 상기 웰딩 드레쉬홀드 값은 128로 미리 정해진 드레쉬홀드 값이다.
상기 흑백 원 영상 획득부(222)는 LVS에서 스틸 부재에 레이저 광원(658±4nm)을 조사하여 반사된 광을 입력받아 흑백 CCD 카메라를 이용하여 입력받아 밴드 패스 필터(660±5nm)를 거쳐 흑백 원 영상을 획득한다.
상기 히스토그램 데이터 수집부(223)는 흑백 원 영상 획득부(222)에서 획득된 흑백 원 영상을 이용하여 각각의 그레이 레벨(gray level)(0~255)의 빈도수를 측정하여 히스토그램 데이터를 수집한다.
상기 1차 미분값의 절대값 연산부(224)는 히스토그램 데이터 수집부(223)에서 수집된 히스토그램 데이터에서 배경과 레이저 띠를 쉽게 분리할 수 있게 히스토그램 데이터를 1차 미분한 후, 절대값을 취하여 히스토그램을 개선시킨다.
상기 센싱 드레쉬홀드 설정부(225)는 1차 미분값의 절대값 연산부(224)에서 구한 절대값을 나타내는 히스토그램에서, 상기 절대값의 빈도수가 가장 급격하게 떨어지는 지점이 배경과 레이저 띠를 분리하는 드레쉬홀드 값이라고 판단하여 그 지점의 그레이 레벨을 센싱 드레쉬홀드 값으로 설정한다. 이때, 상기 센싱 드레쉬홀드 값은 용접 시작시 용접 시작점을 찾기 위해 용접선 정보 추출을 위한 웰딩 드레쉬홀드 값보다 낮게 설정된다.
상기 영상 처리부(226)는 센싱 드레쉬홀드 설정부(224)에서 설정된 센싱 드레쉬홀드 값을 기준으로 이진화하여 영상을 획득한다. 예를 들면, 센싱 드레쉬홀드 값이 55이면 전체 영상에서, 그레이 레벨이 55 이상이면 255(white)로 그레이 레벨을 변경하고, 그레이 레벨이 55 미만이면 그레이 레벨을 0(black)으로 변경한다.
상기 위치정보 측정부(227)는 영상 처리부(226)에서 획득된 영상으로부터 상기 LVS가 계측하고자 하는 점을 추출하여 위치정보를 측정한 후, 2차원의 영상좌표를 3차원의 실좌표로 변환하여 로봇 제어부의 프로세서로 전송한다. 여기서, 2차원의 영상좌표는 카메라 내에서 상기 LVS가 계측하고자 하는 점에 해당되는 포인터(pointer)의 좌표를 나타내고, 3차원의 실좌표는 LVS가 위치하는 곳의 좌표를 원점으로 할 때 LVS가 계측하고자 하는 점의 좌표를 나타낸다.
도 5는 도 4의 영상 처리부가 수행하는 작업의 흐름도이다. 도 5를 도 4와 함께 참조하면, 영상 처리부(220)에서 수행되는 용접선 위치 추적방법에 대하여 살펴볼 수 있다.
용접작업을 위한 작업모드에는, 용접 시작시 촬영된 흑백 원 영상 데이터의 그레이 레벨에 따른 빈도수를 이용하여 센싱 드레쉬홀드 값을 설정하여 용접 시작점 정보를 추출하는 제1 작업모드와, 용접 중에 상기 센싱 드레쉬홀드 값보다 높은 웰딩 드레쉬홀드 값을 설정하여(S300) 용접선 정보를 추출하는 제2 작업모드가 있 다. 용접작업을 위해서는 상기 작업모드들 중에서 어느 하나의 작업모드로 변환하여(S100) 용접작업을 수행하는데, 본 발명에서 제시한 제1 작업모드는 하기와 같이 진행된다.
먼저, 흑백 원 영상 획득부(222)가 LVS로부터 조사되어 반사된 광을 CCD 카메라를 이용하여 입력받아 밴드 패스 필터를 거쳐 흑백 원 영상을 획득한다(S210). 즉, 영상 처리부(220)는 LVS가 촬영한 영상 데이터를 입력받는데, LVS로부터 영상 데이터를 입력받는 부분이 바로 흑백 원 영상 획득부(222)이다. 여기서, 흑백 원 영상 획득부(222)가 LVS로부터 입력받는 광은, LVS에서 스틸 부재에 레이저 광원(658±4nm)을 조사하여 반사된 광이고, 흑백 원 영상 획득부(222)는 이 반사된 광을 660±5nm범위의 밴드패스 필터를 거치게 한다.
다음으로, 히스토그램 데이터 수집부(223)가 흑백 원 영상 획득부(222)에서 획득된 흑백 원 영상을 이용하여 각각의 그레이 레벨의 빈도수를 측정하여 히스토그램 데이터를 수집한다(S220). 여기서, 히스토그램 데이터 수집부(223)가 측정하는 각각의 그레이 레벨의 빈도수는, 0~255의 범위이다.
다음으로, 1차 미분값의 절대값 연산부(224)가 히스토그램 데이터 수집부(223)에서 수집된 히스토그램 데이터에서 히스토그램 데이터를 1차 미분한 후, 절대값을 취한다(S230). 여기서, 1차 미분값의 절대값 연산부(224)가 히스토그램 데이터에서 히스토그램 데이터를 1차 미분한 후에 절대값을 취하는 이유는, 배경과 레이저 띠를 쉽게 분리할 수 있게 하기 위해서이다.
다음으로, 센싱 드레쉬홀드 설정부(225)가 1차 미분값의 절대값 연산부(224) 에서 구한 절대값을 나타내는 히스토그램에서, 가장 급격하게 빈도수가 떨어지는 지점의 그레이 레벨을 센싱 드레쉬홀드 값으로 설정한다(S240). 여기서, 센싱 드레쉬홀드 설정부(225)가 절대값의 빈도수가 가장 급격하게 떨어지는 지점의 그레이 레벨을 센싱 드레쉬홀드 값으로 설정하는 이유는, 이 지점이 배경과 레이저 띠를 분리하는 드레쉬홀드 값이라고 판단하기 때문이다. 종래에는 용접 시작점을 찾기 위해 용접 중에 발생하는 아크 광과 스패터의 영향을 최소화시키는 값을 실험을 통해서 찾아낸 웰딩 드레쉬홀드를 이용하였다. 그러나, 본 발명에서는 용접 시작점을 찾지 못하거나 찾는다고 하더라도 잘못 측정하는 경우가 빈번한 종래의 문제점을 해결하기 위하여 센싱 드레쉬홀드를 도입하였다.
다음으로, 영상 처리부(226)가 센싱 드레쉬홀드 설정부(225)에서 설정된 센싱 드레쉬홀드 값을 그 값을 기준으로 이진화하여 영상을 획득한다(S400). 예를 들면, 센싱 드레쉬홀드 값이 55이면 전체 영상에서, 그레이 레벨이 55 이상이면 255(white)로 그레이 레벨을 변경하고, 그레이 레벨이 55 미만이면 그레이 레벨을 0(black)으로 변경한다.
마지막으로, 위치정보 측정부(227)가 영상 처리부(226)에서 획득된 영상으로부터 상기 LVS가 계측하고자 하는 점을 추출하여 위치정보를 측정한 후(S500), 2차원의 영상좌표를 3차원의 실좌표로 변환하여 로봇 제어부의 프로세서로 전송한다. 여기서, 2차원의 영상좌표는 카메라 내에서 LVS가 계측하고자 하는 점의 좌표에 해당되는 포인터의 좌표를 나타내고, 3차원의 실좌표는 LVS가 위치하는 곳의 좌표를 원점으로 할 때 LVS가 계측하고자 하는 점의 좌표를 나타내는데, 위치정보 측정부 (227)가 2차원의 영상좌표를 3차원의 실좌표로 변환하는 이유는, 용접선 정보로 변환시키기 위해서이다. 즉, 영상 처리부(220)는 LVS가 계측하고자 하는 점의 좌표를 용접선 정보로 변환시킴으로써 실제의 작업 위치에서의 좌표로 변환하기 위해, 카메라 내에서의 포인터의 좌표에서 LVS가 위치하는 곳의 좌표를 원점으로 할 때의 좌표로 변환하는 것이다.
상기와 같이 본 발명은 용접 시작시 촬영된 흑백 원 영상 데이터의 그레이 레벨에 따른 빈도수를 이용하여 용접선 정보 추출을 위한 센싱 드레쉬홀드 값을 설정하는 과정과, 용접 중에 상기 용접선 정보 추출을 위해 상기 센싱 드레쉬홀드 값보다 높은 웰딩 드레쉬홀드 값을 설정하는 과정을 구별하게 적용하게 됨으로써, 종래에 용접 중에 드레쉬홀드 값이 높게 설정되어, 용접 시작점을 찾는 과정에서 시작점을 찾지 못하거나 잘못된 시작점을 찾게 되는 단점을 개선시킬 수 있다.
도 6은 본 발명의 히스토그램 데이터 수집부에서 수집된 흑백 원 영상의 히스토그램이다. 도 6을 참조하면, 흑백 원 영상의 히스토그램에서 편의상 용접 시작점을 찾을 때의 드레쉬홀드 값을 센싱 드레쉬홀드라고 정의하고, 용접 중에 용접선 정보를 추출할 때의 드레쉬홀드 값을 웰딩 드레쉬홀드라고 정의한다. 웰딩 드레쉬홀드는 용접 중에 발생하는 아크 광과 스패터의 영향을 최소화시키는 값을 실험을 통해서 찾아낸 것이다. 종래에는 용접 시작점을 찾기 위해 웰딩 드레쉬홀드를 이용하였으나, 용접 시작점을 찾을 때에는 용접 중일 때보다 원거리에서 측정하고 센서의 측정 자세도 동일하지 않기 때문에 용접 시작점을 찾지 못하거나 찾는다고 하더라도 잘못 측정하는 경우가 빈번하였다. 상기 문제점을 개선하기 위하여, 본 발명 에서는 웰딩 드레쉬홀드와 센싱 드레쉬홀드를 구별하여 적용하였다.
즉, 용점 시작점을 찾을 때에는 아크광과 흄의 영향이 전혀 없기 때문에, 용접 중에는 용접선을 찾을 때보다는 드레쉬홀드 값을 낮게 설정하여 영상 처리를 수행함으로써 보다 정확한 정보를 측정할 수 있다. 용접 시작점을 찾을 때의 적절한 드레쉬홀드 값은 흑백 원 영상에서 그레이 레벨에 따른 빈도수를 측정하여 배경과 레이저 띠를 분리할 수 있는 최적의 드레쉬홀드 값을 계산하는 방법을 이용한다.
도 7은 본 발명의 1차 미분값의 절대값 연산부에서 히스토그램 데이터를 1차 미분한 후에 절대값을 취하여 얻은 히스토그램이다. 도 7을 참조하면, 흑백 원 영상의 히스토그램은 배경과 레이저 띠의 구분이 명확하지 않다. 그러나, 1차 미분값의 절대값 연산부에서 히스토그램 데이터를 1차 미분한 후, 절대값을 취하면 개선된 히스토그램을 획득할 수 있다. 히스토그램을 개선시키는 이유는, 보다 명확하게 센싱 드레쉬홀드를 찾기 위한 것이다.
도 8은 본 발명의 영상 처리부에서 획득된 개선된 영상이다. 도 8을 참조하면, 센싱 드레쉬홀드 설정부에서 설정된 센싱 드레쉬홀드 값을 그 값을 기준으로 이진화하면 도 2보다 개선된 영상을 획득한 것을 확인할 수 있다.
종래에는 영상 처리에 있어 임의의 드레쉬홀드 값을 정하고, 배경과 레이저 띠를 분리하여 미리 영상을 처리하였다. 그리고, 용접 중에 스패터와 흄의 영향을 고려하여 드레쉬홀드 값을 높게 설정하였므로, 용접 시작점을 찾는 과정에서 동일한 드레쉬홀드 값을 이용하기 때문에 시작점을 찾지 못하거나 잘못된 시작점을 찾게 되는 단점이 있었다. 그러나, 본 발명은 센싱 드레쉬홀드 설정부에서 센싱 드레 쉬홀드 값을 기준으로 이진화하는 방법을 이용하여 종래보다 개선된 영상을 획득할 수 있다.
도 9는 본 발명의 용접선 위치 추적 시스템에서 영상좌표를 실좌표로 변환하는 원리를 나타낸 도면이다. 도 9를 참조하면, 본 발명의 용접선 위치 추적 시스템은 크게 용접 로봇(600), LVS(630) 및 지그(jig, 640)를 포함하여 구성된다. 그리고, 용접 로봇(600)은 로봇 아암(610)과 토치(620)로 구성되며, 지그(640)는 거리 조정 프레임(650)과 캘리브레이션 지그(calibration jig, 660)로 구성된다.
LVS(630)에서 발사된 레이저는 그 수신 데이터가 2차원 데이터이기 때문에 정확한 용접 위치를 알기 위해서는 3차원 데이터로 변환시켜야 한다. 이때, 기준 좌표에 대한 레이저의 피치각을 캘리브레이션 매트릭스(calibration matrix)에 적용할 수 없기 때문에, 눈금자가 있는 캘리브레이션 지그(660)를 활용하여 LVS(630)와 캘리브레이션 지그(660)의 거리 및 레이저 빔의 높이, 즉 피치각을 측정한다.
LVS(630)로부터 발사된 레이저가 캘리브레이션 지그(660)에 맺히는 상이 매우 작은 경우, 즉 피치각이 매우 작은 경우에 캘리브레이션 지그(660)의 눈금자에 맺힌 LVS(630)의 레이저 영상이 기준점에 점으로 나타나 그 높이를 시각적으로 구하는 것이 거의 불가능한 경우에는, LVS(630)를 사용하는 영역(W1) 내에서 H1 및 H2 값을 거의 같다고 가정하여 실제의 레이저 빔의 높이를 기준면에 대한 W1 내의 높이를 사용하면 된다. 그렇게 함으로써, 용접 위치의 3차원 좌표를 알아낼 수 있다.
예를 들면, 캘리브레이션 지그(660)를 통해 측정하는 용접 위치가 매우 가까 워짐에 따라 그 피치각, 즉 캘리브레이션 지그에 나타난 LVS(630)에서 쏜 레이저의 높이가 점으로 나타나 거의 높이를 측정할 수 없는 경우에는, 토치(620)로부터 멀리 떨어져 있지 않은 기준 위치의 높이를 H1 = H2로 가정하고, W1 영역의 높이(H1 또는 H2)를 사용하게 된다. 피치각의 높이가 뚜렷하게 나타나는 경우에는, 눈금자에 나타난 높이를 피치각으로 인식하여 용접 위치의 3차원 좌표를 계산한다. 상기와 같은 2가지 경우에 따라 계산된 데이터에 따라 로봇 아암(610)과 토치(620)를 움직이도록 하여 측정된 용접점을 용접하도록 한다.
여기서, 지그(640)의 거리 조정 프레임(650)은 캘리브레이션 지그(660)를 수평적 좌표, 즉 z좌표를 슬라이딩하며 이동할 수 있도록 하며, 상기와 같은 거리 조정 프레임(650)에는 그 센서에 의해 LVS(630)와 캘리브레이션 지그(660)의 거리를 알 수 있게 된다. 상기와 같은 데이터를 이용하여 용접점의 3차원 좌표를 계산할 수 있다.
도 10은 본 발명의 캘리브레이션 지그에 대한 센서의 상대적인 위치를 변경시키면서 잡은 3개의 영상을 나타낸 도면이고, 도 11은 도 10에서 계산된 영상좌표를 하나의 영상에 나타낸 도면이다.
캘리브레이션은 카메라와 레이저가 형성하는 영상평면을 3차원 공간상으로 매칭(matching)하는 작업을 수행하는 행렬을 구하는 것이다. 다시 말하면, 2차원의 영상좌표(u, v)를 3차원의 공간좌표(xs, ys, zs)로 변환시키는 행렬을 구하는 것이다.
도 10에서와 같이, 캘리브레이션 지그에 대한 센서의 상대적인 위치를 변경시키면서 3개의 영상을 잡는다. 이때, 각각의 영상에서 보정에 필요한 지점을 택하고, 그에 해당하는 영상좌표(u, v)를 계산한다. 그리고, 상기 영상좌표를 하나의 영상에 표현하면 도 11과 같이 된다. 즉, 영상좌표(u, v)에 대한 공간좌표(xs, ys, zs)가 14개의 점으로 존재하는데, 상기 공간좌표 상의 점들을 이용하여 각각을 매칭시켜 합의 오차(error of sum)가 최소가 되는 값을 선택한다. 이것은 영상좌표(u, v)와 공간좌표(xs, ys, zs)간의 상관관계를 구하면 되는데, 수학식으로 표현하면 2차원의 영상좌표 Pu에 대한 3차원 공간좌표 Ps의 변환행렬 Ts u은 Ps = Ts uPu와 같이 나타낼 수 있다. 최소 4개 이상의 좌표 Pu와 Ps를 이용하여 4×3 행렬 Ts u를 구할 수 있다. 여기서, 2차원의 영상좌표와 3차원의 공간좌표는 모두 동차 좌표계로 표현할 수 있고, 수학식 1과 같이 나타낼 수 있다.
[수학식 1]
Figure 112006011110767-pat00001
또한, 상기 수학식 1은 수학식 2와 같은 행렬로 표현할 수 있다.
[수학식 2]
Figure 112006011110767-pat00002
여기서, w : 임의의 한 점을 나타내는 변수
t11 ~ t44 : 영상좌표와 공간좌표 간의 변환행렬의 원소
T1 = [t11 t12 t13]
T2 = [t21 t22 t23]
T3 = [t31 t32 t33]
T4 = [t41 t42 t43]
결국, 상기 12개의 변수를 결정하면 어떤 2차원의 영상좌표도 3차원 공간좌표로의 변환이 가능하다. 4개 이상의 상대좌표를 알면, 서로의 오차가 최소가 되는 값을 변환행렬로 사용할 수 있다.
이상에서 살펴본 바와 같은 용접선 위치 추적 시스템 및 그 위치 추적 방법에 대한 기술사상을 첨부도면과 함께 서술하였지만, 이는 본 발명의 가장 양호한 실시예를 예시적으로 설명한 것이지 본 발명을 한정하는 것은 아니다. 또한, 이 기 술분야에서 통상의 지식을 가진 자라면 본 발명의 기술사상을 이탈하지 않는 범위 내에서 다양한 변형 및 모방이 가능함은 명백한 사실이다.
본 발명의 용접선 위치 추적 시스템 및 그 위치 추적 방법은 흑백 원 영상에서 그레이 레벨에 따른 빈도수를 측정하여 배경과 레이저 띠를 분리할 수 있는 최적의 드레쉬홀드 값을 계산하는 방법을 이용하여, 용접 시작점을 찾을 때에는 용접 중에 용접선을 찾을 때보다는 드레쉬홀드 값을 낮게 설정하여 영상 처리를 수행함으로써 보다 정확한 정보를 측정할 수 있는 효과가 있다.

Claims (3)

  1. 타이머와 메모리를 포함하는 로봇 제어부, 센서 구동부와 영상 처리부를 포함하는 센서 제어부, 용접 로봇 및 레이저 비젼 센서를 포함하는 용접선 위치 추적 시스템에 있어서,
    상기 영상 처리부는,
    용접 중에 용접선을 찾기 위해, 용접선 정보 추출을 위한 웰딩 드레쉬홀드 값을 설정하는 웰딩 드레쉬홀드 설정부; 및
    상기 영상 처리부로부터 촬영된 흑백 원 영상 데이터의 그레이 레벨에 따른 빈도수를 전달받아, 용접 시작시 용접 시작점을 찾기 위해 용접선 정보 추출을 위한 상기 웰딩 드레쉬홀드 값보다 낮은 센싱 드레쉬홀드 값을 설정하는 센싱 드레쉬홀드 설정부;
    를 포함하는 것을 특징으로 하는 용접선 위치 추적 시스템.
  2. 제1항에 있어서,
    상기 영상 처리부는,
    상기 레이저 비젼 센서로부터 조사되어 반사된 광을 흑백 CCD 카메라를 이용하여 입력받아 밴드 패스 필터를 거쳐 흑백 원 영상을 획득하는 흑백 원 영상 획득부;
    상기 흑백 원 영상 획득부에서 획득된 흑백 원 영상을 이용하여 각각의 그레이 레벨의 빈도수를 측정하여 히스토그램 데이터를 수집하는 히스토그램 데이터 수집부;
    상기 히스토그램 데이터 수집부에서 수집된 히스토그램 데이터에서 히스토그램 데이터를 1차 미분한 후, 절대값을 취하는 1차 미분값의 절대값 연산부;
    상기 센싱 드레쉬홀드 설정부에서 설정된 센싱 드레쉬홀드 값을 기준으로 이진화하여 영상을 획득하는 영상 처리부; 및
    상기 영상 처리부에서 획득된 영상으로부터 상기 레이저 비젼 센서가 계측하고자 하는 점을 추출한 후, 2차원의 영상좌표를 3차원의 실좌표로 변환하여 로봇 제어부의 프로세서로 전송하는 위치정보 측정부;
    를 더 포함하고, 상기 센싱 드레쉬홀드 설정부는 상기 1차 미분값의 절대값 연산부에서 구한 절대값을 나타내는 히스토그램에서, 가장 급격하게 빈도수가 떨어지는 지점의 그레이 레벨을 센싱 드레쉬홀드 값으로 설정하는 것을 특징으로 하는 용접선 위치 추적 시스템.
  3. 타이머와 메모리를 포함하는 로봇 제어부, 센서 구동부와 영상 처리부를 포함하는 센서 제어부, 용접 로봇 및 레이저 비젼 센서를 포함하는 용접선 위치 추적 시스템의 위치 추적 방법에 있어서,
    용접 시작시 촬영된 흑백 원 영상 데이터의 그레이 레벨에 따른 빈도수를 이 용하여 센싱 드레쉬홀드 값을 설정하여 용접 시작점 정보를 추출하는 단계; 및
    용접 중에 상기 센싱 드레쉬홀드 값보다 높은 웰딩 드레쉬홀드 값을 설정하여 용접선 정보를 추출하는 단계를 포함하며,
    상기 센싱 드레쉬홀드 값을 설정하여 용접 시작점 정보를 추출하는 단계는,
    레이저 비젼 센서로부터 조사되어 반사된 광을 흑백 CCD 카메라를 이용하여 입력받아 밴드 패스 필터를 거쳐 흑백 원 영상을 획득하는 제1단계;
    상기 획득된 흑백 원 영상을 이용하여 각각의 그레이 레벨의 빈도수를 측정하여 히스토그램 데이터를 수집하는 제2단계;
    상기 수집된 히스토그램 데이터에서 히스토그램 데이터를 1차 미분한 후, 절대값을 취하는 제3단계;
    상기 절대값을 나타내는 히스토그램에서, 가장 급격하게 빈도수가 떨어지는 지점의 그레이 레벨을 센싱 드레쉬홀드 값으로 설정하는 제4단계;
    상기 설정된 센싱 드레쉬홀드 값을 기준으로 이진화하여 영상을 획득하는 제5단계; 및
    상기 획득된 영상으로부터 상기 레이저 비젼 센서가 계측하고자 하는 점을 추출하여 위치정보를 측정한 후, 2차원의 영상좌표를 3차원의 실좌표로 변환하여 로봇 제어부의 프로세서로 전송하는 제6단계;
    를 포함하는 것을 특징으로 하는 용접선 위치 추적 시스템의 위치 추적 방법.
KR1020060014610A 2006-02-15 2006-02-15 용접선 위치 추적 시스템 및 그 위치 추적 방법 KR100695945B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020060014610A KR100695945B1 (ko) 2006-02-15 2006-02-15 용접선 위치 추적 시스템 및 그 위치 추적 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020060014610A KR100695945B1 (ko) 2006-02-15 2006-02-15 용접선 위치 추적 시스템 및 그 위치 추적 방법

Publications (1)

Publication Number Publication Date
KR100695945B1 true KR100695945B1 (ko) 2007-03-19

Family

ID=41623543

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020060014610A KR100695945B1 (ko) 2006-02-15 2006-02-15 용접선 위치 추적 시스템 및 그 위치 추적 방법

Country Status (1)

Country Link
KR (1) KR100695945B1 (ko)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100859335B1 (ko) 2007-06-19 2008-09-19 삼성중공업 주식회사 엘브이에스와 비주얼서보잉을 이용한 용접시작점 추적방법
CN102039471A (zh) * 2010-11-13 2011-05-04 上海交通大学 适用机器人焊接的紧凑型多功能视觉传感器
CN102319970A (zh) * 2011-08-18 2012-01-18 山东水泊焊割设备制造有限公司 平行四边形式焊接机仿形器及梁门式自动焊接机
KR101136388B1 (ko) * 2009-11-26 2012-04-27 (재)경북차량용임베디드기술연구원 비전시스템을 이용한 자동차 부품 검사장치
KR101136387B1 (ko) 2009-11-26 2012-04-27 (재)경북차량용임베디드기술연구원 비전시스템을 이용한 자동차 부품 검사방법
KR101359642B1 (ko) 2012-01-10 2014-02-07 삼성중공업 주식회사 레이저 비전 시스템의 캘리브레이션 장치 및 방법
CN103722278A (zh) * 2013-11-18 2014-04-16 南京鹏力科技有限公司 一种焊接机械手坡口焊缝轨迹的激光寻址方法及系统
CN104279952A (zh) * 2013-11-14 2015-01-14 沈阳新松机器人自动化股份有限公司 一种机器人轨迹精度测量方法
CN104400279A (zh) * 2014-10-11 2015-03-11 南京航空航天大学 基于ccd的管道空间焊缝自动识别与轨迹规划的方法及系统
CN106425025A (zh) * 2016-11-30 2017-02-22 湘潭大学 一种激光位移传感器的角焊缝自动焊接控制方法及装置
CN106624367A (zh) * 2017-03-11 2017-05-10 四川广正科技有限公司 一种激光焊前材料表面的预处理方法及系统

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100859335B1 (ko) 2007-06-19 2008-09-19 삼성중공업 주식회사 엘브이에스와 비주얼서보잉을 이용한 용접시작점 추적방법
KR101136388B1 (ko) * 2009-11-26 2012-04-27 (재)경북차량용임베디드기술연구원 비전시스템을 이용한 자동차 부품 검사장치
KR101136387B1 (ko) 2009-11-26 2012-04-27 (재)경북차량용임베디드기술연구원 비전시스템을 이용한 자동차 부품 검사방법
CN102039471A (zh) * 2010-11-13 2011-05-04 上海交通大学 适用机器人焊接的紧凑型多功能视觉传感器
CN102319970A (zh) * 2011-08-18 2012-01-18 山东水泊焊割设备制造有限公司 平行四边形式焊接机仿形器及梁门式自动焊接机
KR101359642B1 (ko) 2012-01-10 2014-02-07 삼성중공업 주식회사 레이저 비전 시스템의 캘리브레이션 장치 및 방법
CN104279952A (zh) * 2013-11-14 2015-01-14 沈阳新松机器人自动化股份有限公司 一种机器人轨迹精度测量方法
CN104279952B (zh) * 2013-11-14 2017-06-06 沈阳新松机器人自动化股份有限公司 一种机器人轨迹精度测量方法
CN103722278A (zh) * 2013-11-18 2014-04-16 南京鹏力科技有限公司 一种焊接机械手坡口焊缝轨迹的激光寻址方法及系统
CN104400279A (zh) * 2014-10-11 2015-03-11 南京航空航天大学 基于ccd的管道空间焊缝自动识别与轨迹规划的方法及系统
CN106425025A (zh) * 2016-11-30 2017-02-22 湘潭大学 一种激光位移传感器的角焊缝自动焊接控制方法及装置
CN106624367A (zh) * 2017-03-11 2017-05-10 四川广正科技有限公司 一种激光焊前材料表面的预处理方法及系统

Similar Documents

Publication Publication Date Title
KR100695945B1 (ko) 용접선 위치 추적 시스템 및 그 위치 추적 방법
JP4821934B1 (ja) ３次元形状計測装置およびロボットシステム
JP4811272B2 (ja) ３次元計測を行う画像処理装置および画像処理方法
US9672630B2 (en) Contour line measurement apparatus and robot system
US7202957B2 (en) Three-dimensional visual sensor
CN110503040B (zh) 障碍物检测方法及装置
JP5775965B2 (ja) ステレオカメラシステム及び移動体
JP6664436B2 (ja) ３次元画像処理装置及び方法
JP4032843B2 (ja) 監視システムおよび監視方法、当該監視システムにおける距離補正装置および距離補正方法
CN112238292A (zh) 一种基于视觉的搅拌摩擦焊机器人空间曲线轨迹跟踪方法
US9115983B2 (en) Position measurement apparatus and position measuring method
JP2007155357A (ja) 直径計測方法又は直径計測装置
JP3823782B2 (ja) 先行車両認識装置
CN111397529A (zh) 一种基于双目视觉结构光的复杂表面形状检测方法
JP7119462B2 (ja) 撮像システム、撮像方法、撮像システムを搭載した移動体、撮像装置および撮像装置を搭載した移動体
JP2007253699A (ja) 光軸ずれ検出装置
JPH1144533A (ja) 先行車両検出装置
JPH05242399A (ja) 車間距離検出装置
JP2007114168A (ja) 画像処理方法および装置、並びにプログラム
JP4224449B2 (ja) 画像抽出装置
JPH11259792A (ja) 車輌認識方法およびその装置
CN111272756B (zh) 一种合金分析系统
JPH07306037A (ja) 立体物領域検出装置及び立体物領域迄の距離測定装置及びそれらの検出、測定方法
JP2001116545A (ja) 距離画像算出装置
US20080008381A1 (en) Coordinate acquisition apparatus for test of printed board, and coordinate acquisition method and program for test thereof

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130304

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20140303

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20150302

Year of fee payment: 9