KR20200085274A

KR20200085274A - 액티브 레이저 비전 용접이음 추적 시스템 및 용접이음 위치 검측 방법

Info

Publication number: KR20200085274A
Application number: KR1020207012076A
Authority: KR
Inventors: 쉬동 탕; 아이롱 진; 야쥐엔 진; 쉬엔쥔 판
Original assignee: 통가오 어드밴스드 매뉴팩처링 테크놀로지 컴퍼니 리미티드
Priority date: 2018-07-25
Filing date: 2019-07-23
Publication date: 2020-07-14
Also published as: LU101680A1; WO2020020113A1; CN109226967B; US20200269340A1; LU101680B1; CN109226967A; KR102325359B1

Abstract

본 출원은 안정적인 액티브 레이저 비전 용접이음 추적 시스템, 용접이음 위치 검측 방법 및 안정적인 용접이음 추적 알고리즘을 개시한다. 액티브 레이저 비전 용접이음 추적 시스템은 레이저 소스, 레이저 비전 센서, 이미지 처리 시스템, 산업용 로봇 및 전기 제어 시스템으로 구성된다. 레이저 비전 센서는 용접이음 표면에 구조화된 빛을 투사하여 용접이음 윤곽 정보와 관련되는 레이저 스트라이프를 식별하고, 이미지 처리방법을 사용하여 용접이음 특징 정보를 찾고, 레이저 스트라이프의 중심선으로부터 용접이음 위치를 검측하고, 다양한 제어방법으로 용접이음을 지능적으로 추적한다. 본 출원은 기존의 레이저-아크 하이브리드 용접 수행시 아크 불꽃 및 스패터링 간섭에 의한 용접이음 추적 시스템의 과다한 이미지 노이즈 생성으로 인해 발생하는 용접 품질, 용접 정확도 및 용접 효율성 문제를 해결하며, 티칭 과정에서 용접이음 특징점 궤적 편차로 인한 로봇 추적 실패도 방지함으로써 용접이음 이미지 식별을 로봇 동작 제어와 결합하여 용접이음 특징을 자동으로 찾아내고 지능적이고 정확하게 추적한다.

Description

액티브 레이저 비전 용접이음 추적 시스템 및 용접이음 위치 검측 방법

본 발명은 레이저 용접 기술 분야에 속한 것이고, 특히 레이저-아크 하이브리드 용접을 위한 안정적인 액티브 레이저 비전 자동 용접이음 추적 시스템, 이미지 처리 및 용접이음 위치 검측 방법을 포함한다.

산업 생산에서 레이저 용접이 더욱 폭넓게 사용됨에 따라 레이저 용접 기술의 한계가 서서히 문제점으로 부각되고 있다. 주요 제한 사항은 다음과 같다. 레이저 용접의 낮은 에너지 사용률 및 용접 두께의 증가로 인해 생산 비용이 증가한다. 레이저 용접에 요구되는 작업물의 용접 정밀도가 높고 그루브 브리징 성능이 불량하다. 레이저 용접이음은 금속의 강렬한 기화로 인해 언더컷, 오목부 및 기공 결함을 쉽게 초래할 수 있으며 기술적 매개변수를 조정하여도 이를 제거하기가 어렵다. 레이저 용접은 냉각 속도가 너무 높아 용접이음부에서 취성상(brittle phase)이 쉽게 형성되면서 인터페이스의 탄성과 연성이 저하된다. 따라서, 레이저 용접과 아크 용접을 결합하여 고품질의 효율적인 용접 생산을 구현하는 레이저-아크 하이브리드 용접이 폭넓은 관심을 끌고 있다. 레이저-아크 하이브리드 용접은 기존의 아크 용접 및 레이저 용접에 비해 큰 용접 관통깊이, 높은 공정 안정성, 높은 용접 효율, 강력한 용접 공극 브리징 성능 및 작은 용접 변형과 같은 장점들을 가지며, 용접 효율 및 용접 품질을 크게 향상시킬 수 있다. 하지만, 이 용접 방법은 레이저 용접과 기존 아크 용접의 두 가지 용접 방법을 결합하기 때문에 많은 요인이 용접 공정에 영향을 미치며, 용접 공정이 비교적 복잡하다. 용접 인터페이스의 용접이음 형성은 용접이음 품질과 밀접한 관련이 있다. 용접이음 형성이 우수해야만 용접부의 우수한 기계적 특성이 보장되므로 용접이음 형성을 효과적으로 제어하는 것이 특히 중요하다.

레이저-아크 하이브리드 용접 로봇은 산업용 로봇의 높은 수준의 자동화와 굽힘성, 우수한 유연성 및 안정성, 빠르고 정확한 동작과 같은 장점을 가지고 있다. 자동화 용접의 구현에는 두 가지 중요한 방법이 있는데, 하나는 수동적인 티칭 재생 또는 오프라인 프로그래밍을 사용하는 제어 방법이고, 다른 하나는 자동 용접이음 추적 기술을 사용하는 제어 방법이다. 수동적인 티칭 재생 또는 오프라인 프로그래밍의 경우 공간 궤적이 결정되면 용접이음을 변경할 수 없으며, 용접 작업물의 가공 오차, 클램핑 후의 위치 오차 및 용접 중 작업물의 열 변형과 같은 요인들로 인해 용접이음 궤적에서 어느 정도의 변화로 이어질 수 있으며, 이로 인해 티칭 프로그래밍으로 얻은 로봇 용접이음 궤적이 실제 용접이음 궤적에서 벗어나 용접 품질이 떨어지는 결과를 초래할 수 있다. 자동 용접이음 추적 시스템은 센서를 통해 용접이음 특징점(특징점은 실제 용접이음 궤적의 산점(Scatter Points)임)의 위치를 실시간으로 검측하고 로봇이 특징점의 3차원 좌표에 따라 자동 추적 용접을 수행하도록 제어한다. 자동 용접이음 추적 시스템은 더 높은 유연성과 더 넓은 적용 범위를 가지며, 높은 수준의 자동 용접을 지원할 수 있다. 광학 비전 센서는 CCD 또는 CMOS 감광칩을 사용하여 용접이음을 직접 이미지화한 다음, 이미지로부터 용접이음의 모양, 위치 및 기타 정보를 얻는다. 액티브 광학 비전 센서는 특수 보조 광원을 사용하여 표적물의 국소적 위치를 비추고 빛이 비친 위치는 이미지에서 고휘도 영역을 형성하므로 이미지를 찾는 어려움이 줄어든다. 하지만, 아크 불꽃과 스패터링의 영향을 받기가 쉽다. 측정 지점과 용접 지점 사이의 거리가 짧을수록 아크 불꽃과 스패터링 노이즈가 강해진다. 비전 시스템에 대한 이러한 간섭은 용접이음 추적 시스템이 제대로 작동하기 어렵게 만든다. 따라서, 비전 시스템의 내구성을 강화하고 용접이음 특징점을 효과적으로 찾아내며 아크 불꽃과 스패터링 간섭 및 이미지 노이즈를 많이 줄임으로써 시스템의 측정 정밀도, 주파수 및 간섭 저항 능력을 높이는 방식으로 자동 용접이음 추적 시스템을 최적화하고 개선하는 과정에서 이러한 문제의 해결이 매우 시급하다. 또한, 로봇의 수동 티칭 과정에서 여러 가지 요인으로 인해 찾은 용접이음 특징점 궤적에 편차가 있어 용접 품질에 문제가 발생할 수 있다. 따라서, 자동 용접이음 추적 시스템에서 시급히 해결해야 하는 과제로 정확한 용접이음 추적을 구현하고, 로봇 툴측 TCP 지점이 신뢰할 수 있는 용접이음 특징점을 따라 이동하여 편차를 동적으로 정확하게 보정해야 한다.

본 발명은 액티브 레이저 비전을 사용한 지능적인 용접이음 추적 시스템, 혁신적이고 안정적인 용접이음 추적 시스템 및 이미지 처리와 용접이음 위치 검측 방법을 제공하여 기존 방식에 존재하는 문제를 해결하는 것을 목적으로 한다. 본 발명에서는 기존의 레이저-아크 하이브리드 용접 수행시 아크 불꽃 및 스패터링 간섭에 의한 용접이음 추적 시스템의 과다한 이미지 노이즈 생성으로 인해 발생하는 용접 품질, 용접 정확도 및 용접 효율성 문제를 해결하며, 티칭 과정에서 용접이음 특징점 궤적 편차로 인한 로봇 추적 실패도 방지함으로써 용접이음 이미지 식별을 로봇 동작 제어와 결합하여 용접이음 특징을 자동으로 찾아내고, 지능적이고 정확하게 추적한다.

이러한 목적을 달성하기 위한 본 발명에 따른 액티브 레이저 비전 용접이음 추적 시스템; 상기 액티브 레이저 비전 용접이음 추적 시스템은 베이스, 로봇 암 및 구동기구로 구성되는 산업용 로봇을 포함하며; 상기 로봇 암은 하부 암과 포암(forearm)으로 구성되고, 상기 베이스에는 상기 하부 암을 장착하는 데에 사용되는 안착 베이스가 설치되며, 상기 하부 암의 하부는 상기 안착 베이스와 이동식으로 연결되고, 상기 포암은 상기 하부 암의 꼭대기부에 이동식으로 연결되며, 상기 산업용 로봇의 포암에는 일측에 와이어 공급기구가 설치되는 레이저-아크 하이브리드 용접 조인트가 설치되며; 레이저 소스, 레이저 스트라이프를 식별하는 데에 사용되는 레이저 비전 센서 및 용접이음 특징 정보를 찾고 용접이음 위치를 검측하는 데에 사용되는 이미지 처리 시스템이 포함되는 액티브 레이저 비전 시스템; 상기 이미지 처리 시스템은 레이저 비전 센서와 전기적으로 연결되며; 로봇 컨트롤러를 포함하고, 상기 산업용 로봇 및 상기 산업용 로봇의 암동작을 제어하는 데에 사용되는 전기 제어 시스템; 상기 이미지 처리 시스템과 로봇 컨트롤러는 양방향 통신으로 연결된다.

더 나아가, 상기 이미지 처리 시스템은 제1 중앙처리유닛, 제1 내부메모리유닛, 비전 센서 인터페이스 및 제1통신 인터페이스를 포함하고; 상기 레이저 비전 센서는 상기 비전 센서 인터페이스를 통해 이미지 처리 시스템 중의 각 유닛과 양방향 통신을 수행한다.

더 나아가, 상기 로봇 컨트롤러는 제2 중앙처리유닛, 제2 내부메모리유닛, 제2 통신 인터페이스, 드라이버, 모션 제어 카드 및 입력/출력 인터페이스를 포함하고, 상기 입력/출력 인터페이스는 명령 입력 및 명령 출력에 사용되며, 상기 드라이버는 로봇 암의 모터와 전기적으로 연결되며, 상기 모션 제어 카드는 로봇 암의 인코더와 연결된다.

바람직하게는 상기 레이저 비전 센서가 산업용 카메라를 사용한다. 아래와 같은:

레이저 비전 센서는 용접이음 표면에 구조화된 빛을 투사하여 용접이음 윤곽 정보와 관련되는 레이저 스트라이프를 식별하는 단계 1;

이미지 처리 방법을 사용하여 용접이음 특징 정보를 찾고, 레이저 스트라이프의 중심선으로부터 용접이음 위치를 검측하는 단계 2;

용접이음에 대해 지능적으로 추적하고, 산업용 로봇의 용접이음 추적 경로가 정확한지를 확인하는 단계 3;

용접이음에 대한 지능적인 추적 결과에 따라 로봇의 용접 작업을 제어하는 단계 4; 를 포함하는 상기 안정적인 액티브 레이저 비전 용접이음 추적 시스템을 사용한 용접이음 위치 검측 방법.

더 나아가, 단계 2는 구체적으로 다음 내용으로 구성된다.

2.1, 이미지 전처리:

a, 레이저 비전 센서로 획득한 레이저 스트라이프 이미지에 대해 평균치 파장필터링 수행:

상기

는 기대하는 레이저 스트라이프 폭이고,

는 제i행과 제j열 픽셀의 이미지 강도이며,

는 파장필터링 후 제i행과 제j열의 결과값이고;

b, 처리된 이미지를 RGB 색공간에서 HSV 색공간으로 전환하고, 즉 이미지에서 레이저 블루레이 색상을 정밀하게 찾아내고 HSV 세 채널에 대한 임계값을 설정하며, 이미지에 마스킹을 적용하여 세 개의 임계값 설정으로 저품질 레이저로부터 생성된 낮은 콘트라스트 레이저 스트라이프에 대해 후속 처리를 수행할 수 있음;

상기

,

및

는 각각 H, S 및 V 세 채널에 대한 마스킹 임계값이고, i 및 j는 각각 픽셀의 행 번호와 열 번호이며,

은 최종적으로 획득한 마스킹된 교차 영역을 나타냄;

c, 회색 톤 처리를 통해 원본 RGB 이미지를 회색 톤 이미지로 전환:

상기 원본 RGB(R, G, B)의 R, G 및 B가 회색으로 대체되어 새로운 컬러 RGB(회색, 회색, 회색)가 형성되며, RGB(R, G, B) 이미지를 대체하는 단일 채널 회색 톤 이미지가 생성되고, 마스킹된 교차 영역이 이 단일 채널 회색 톤 이미지에 적용되며;

d, 점잡음 및 반점잡음을 제거하기 위해 이미지에 대해 중앙값 파장필터링을 수행, 여기에서 중앙값 파장필터링에 홀수 지점을 포함하는 슬라이딩 윈도우를 사용하며 회색 톤에 따라 주변 픽셀의 순위를 정한 다음 그 중앙값을 출력 픽셀로 선택함;

2.2, 레이저 스트라이프 윤곽 검측:

a, 레이저 피크 검측 방법을 통해 레이저 스트라이프의 윤곽 에지 픽셀을 찾으며, 즉 레이저 스트라이프를 수직 상태로 하고, 각 수평 행에 대해 픽셀을 수용 또는 거절하기 위한 강도 임계값을 설정하며, 레이저 스트라이프 기초를 형성하기 위한 강도 피크점을 획득함;

b) 수평 방향에서 생성된 픽셀 강도 피크점에 대해 노이즈 파장필터링을 수행하고, 얻어진 픽셀 강도 피크점을 피팅하여 레이저 스트라이프의 베이스라인 위치를 획득함;

2.3, 용접이음 특징점 찾기:

a, 수직 방향의 ROI 결정:

상기

상기

는 기대되는 레이저 스트라이프 폭이고,

는 이미지의 행수이며,

는 제i행과 제j열의 이미지 강도이고,

는 이미지의 관심 영역이고,

는 원본 이미지에서 검측된 레이저 라인의 열을 표시하고;

여기에서 획득한 레이저 라인의 변형된 영역 상부 꼭대기의 특징점과 하부 바닥 특징점을 획득하며;

b, 교차점 표시 및 선택:

c, 수평 방향에서 ROI 결정:

상기

상기 식에서,

,

및

는

이미지의 교차점 상부 꼭대기 지점 및 하부 바닥 지점의 y축 및 x축 상의 좌표이고,

은

이미지의 열수이며;

d, 용접이음의 수평 피크 특징점 획득.

7. 제6항에 있어서, 상기 확보한 용접이음 수평 피크값 특징점은 아래와 같은:

d1, 노이즈 지점을 제거하고, 수평 ROI 레이저 스트라이프의 윤곽점, 즉 찾은 레이저 스트라이프 윤곽의 변형된 영역의 특징점을 찾고;

d2, ROI의 레이저 스트라이프 윤곽을 상부와 하부 두 영역으로 나누고, 다음 제약 조건에 따라 상부 영역 및 하부 영역 내 윤곽 외부에서 레이저 스트라이프 윤곽 변형 영역의 불연속점에 연속을 추가하며;

상기

는 기대되는 레이저 스트라이프 폭이고,

는 추가된 불연속점의 열을 표시함;

d3, 상기 언급된 전체 ROI 내에서 상부 및 하부 레이저 스트라이프 상의 윤곽점과 추가된 불연속점으로 이루어진 점집합은 각각 선형으로 피팅하고, 획득한 두 직선의 교차점이 바로 용접이음 피크의 특징점임; 을 특징으로 하는 용접이음 위치 검측 방법.

8. 제 5항에 있어서, 상기 단계 3에서 산업용 로봇의 용접이음 추적 경로의 정확 여부 확인시,

1.1, 로봇 컨트롤러는 HOME 위치 신호를 전송하고, 산업용 로봇은 시작점을 탐색하고;

1.2, 로봇 컨트롤러는 로봇 툴측 TCP의 시작점을 탐색하며;

1.3, 용접이음 특징점에 대응하는 레이저 비전 센서 위치 시퀀스를 기록하기 위해 제1 레지스터 큐를 생성하고;

1.4, 로봇 툴측 TCP가 초기 용접이음 특징점에 있는지 확인하고, 그렇지 않은 경우, 단계 1.2 내지 단계 1.3에 따라 로봇 툴측 TCP의 시작점을 다시 찾고, 그런 경우, 로봇 툴측 TCP가 용접이음 경로의 시작 위치에 있음을 나타내는 신호가 전송되며, 로봇 컨트롤러는 용접 작업 명령을 시작하며;

1.5, 상기 로봇 컨트롤러는 용접이음 추적 작업 명령을 수행하고;

1.6, 용접이음 특징점에 대응하는 레이저 비전 센서 위치 시퀀스를 기록하기 위해 제1 레지스터 큐를 계속 생성하며;

1.7, 로봇 툴측 TCP가 용접이음 특징점 추적 작업을 수행하고;

1.8, 로봇 툴측 TCP가 마지막 용접이음 특징점에 있는지 확인하고, 그렇지 않은 경우, 단계 1.6 내지 단계 1.7에 따라 제1 레지스터 큐를 다시 생성하고, 그런 경우, 로봇 툴측 TCP가 용접 경로의 맨 끝단 위치에 있음을 나타내는 신호를 전송하며;

1.9, 로봇 컨트롤러가 용접 작업 명령을 종료하는 것을 특징으로 하는 용접이음 위치 검측 방법.

9. 제5항에 있어서, 상기 단계 3에서 산업용 로봇 용접이음 추적 경로에서 편차 발견시, 용접이음 특징점 궤적의 편차를 보정하여 레이저 용접 작업이 완료될 때까지 로봇 툴측 TCP 지점이 용접이음 특징점에 의해 생성된 정확한 경로를 따라 이동되도록 하는 절차는,

2.1, 로봇 컨트롤러는 HOME 위치 신호를 전송하고, 산업용 로봇은 시작점을 탐색하고;

2.2, 로봇 컨트롤러는 로봇 툴측 TCP의 시작점을 탐색하며;

2.3, 용접이음 특징점에 대응하는 레이저 비전 센서 위치 시퀀스를 기록하기 위한 제1 레지스터 큐를 생성하고;

2.4, 로봇 툴측 TCP가 초기 용접이음 특징점에 있는지 확인하고, 그렇지 않은 경우, 단계 2.2 내지 단계 2.3에 따라 로봇 툴측 TCP의 시작점을 다시 찾고, 그런 경우, 로봇 툴측 TCP가 용접이음 경로의 시작 위치에 있음을 나타내는 신호를 전송하며;

2.5, 로봇 컨트롤러가 산업용 로봇이 시운전 중인지 확인하고;

2.6, 산업용 로봇이 시운전 중이 아니라면 로봇 컨트롤러가 용접이음 특징점에 대응하는 레이저 비전 센서 위치 시퀀스를 기록하기 위한 제1 레지스터 큐를 계속해서 생성하도록 산업용 로봇에 명령을 하달하며;

2.7, 로봇 툴측 TCP가 용접 경로의 맨 끝단 위치에 있음을 나타내는 신호를 전송하고;

2.8, 로봇 컨트롤러가 용접이음 작업 명령을 종료하며;

2.9, 산업용 로봇이 시운전 중이라면 로봇 컨트롤러가 용접이음 특징점에 대응하는 레이저 비전 센서 위치 시퀀스를 기록하기 위한 제2 레지스터 큐를 생성하도록 산업용 로봇에 명령을 하달하고;

2.10, 로봇 컨트롤러는 산업용 로봇이 제W회 시운전을 완료했는지 확인하고, 모니터링된 결과가 완료되지 않은 것으로 나타나면, 단계 2.1 내지 2.9를 반복하며;

2.11, 산업용 로봇이 제W회 시운전을 완료한 경우, 제W회 시운전에서 얻은 용접이음 특징점의 최적 추정치 및 이에 대응하는 레이저 비전 센서 위치 시퀀스를 계산하고;

2.12, 로봇 컨트롤러는 용접 작업을 시작하도록 산업용 로봇에 명령을 하달하며;

2.13, 산업용 로봇은 용접 작업 명령을 수신한 후, 용접 작업을 시작하고;

2.14, 로봇 컨트롤러는 용접이음 추적 작업 명령을 시작하며;

2.15, 로봇 툴측 TCP는 용접이음 특징점에 대한 최적의 추정치를 참조하여 추적 작업을 수행하고;

2.16, 로봇 컨트롤러는 로봇 툴측 TCP 지점이 마지막 용접이음 특징점에 있는지 확인하고, 그렇지 않은 경우, 단계 2.6 내지 단계 2.7에 따라 제1 레지스터 큐를 다시 생성하고, 그런 경우, 로봇 툴측 TCP가 용접 경로의 맨 끝단 위치에 있음을 나타내는 신호를 전송하며;

2.17, 로봇 컨트롤러가 용접 작업 명령을 종료하는 것을 특징으로 하는 용접이음 위치 검측 방법.

본 발명은 기존의 기술과 비교하여 다음과 같은 혁신을 이루었다. 1. 기존의 레이저-아크 하이브리드 용접 수행시 아크 불꽃 및 스패터링 간섭에 의한 용접이음 추적 시스템의 과다한 이미지 노이즈 생성으로 인해 발생하는 용접 품질, 용접 정확도 및 용접 효율성 문제를 해결하며, 티칭 과정에서 용접이음 특징점 궤적 편차로 인한 로봇 추적 실패도 방지함으로써 용접이음 이미지 식별을 로봇 동작 제어와 결합하여 용접이음 특징을 자동으로 찾아내고, 지능적이고 정확하게 추적한다. 2, 무변형 레이저 스트라이프 베이스라인 검측 및 용접이음 특징점을 찾는 방법을 사용하면 용접이음 특징점을 효과적으로 찾아내고 아크 불꽃과 스패터링 간섭 및 이미지 노이즈를 어느 정도 방지할 수 있어 시스템의 측정 정밀도, 주파수 및 간섭 방지 능력을 높임으로써 최적화되고 개선된 자동 용접이음 추적 시스템을 얻을 수 있다. 용접이음 추적 과정에서 산업용 로봇의 경로가 정확하지 않은 것으로 밝혀지면, 즉 편차가 있는 경우, 용접이음 특징점 궤적의 편차를 보정하기 위해 구현된 방법을 통해 편차를 동적으로 정확하게 보정할 수 있어 로봇 툴측 TCP 지점이 안정적인 용접이음 특징점을 따라 이동하고, 정밀한 용접이음 추적이 가능하게 되어 용접이음 추적의 정밀도를 높이고 용접 품질을 향상시킨다.

도 1은 본 발명의 레이저-아크 하이브리드 용접 로봇의 구조적 설명도이다;
도 2는 본 발명의 용접이음 특징을 찾는 데에 대한 설명도이다;
도 3은 본 발명의 용접이음 이미지 처리 및 용접이음 특징점 검측과 찾기 프로세스에 대한 흐름도이다;
도 4는 액티브 레이저 비전에 의해 유도되는 로봇의 레이저 아크 하이브리드 용접이음 추적 시스템의 주요 제어 구조이다;
도 5는 본 발명의 상대적 위치와 포즈 네트워크를 보여주는 설명도이다;
도 6은 제어 전략에 대한 설명도이다;
도 7은 (a)가 큐 1이고 (b)가 큐 2인 제1 레지스터 큐의 설명도이다;
도 8은 제1 레지스터 큐를 생성하기 위한 흐름도이다;
도 9는 로봇의 티칭 과정에서 용접이음 궤적으로부터 레이저 비전 센서의 편차 분석을 나타내는 설명도이다;
도 10은 본 발명의 비전 시스템을 통해 찾고 추정한 용접이음 특징점 궤적의 편차 분석도이다;
도 11은 본 발명의 상대적 위치와 포즈 네트워크를 보여주는 설명도이다;
도 12는 본 발명의 비전 시스템을 통해 찾고 추정한 용접이음 특징점 궤적에 편차가 나타나는 문제를 해결하기 위한 작업 전략에 대한 설명도이다;
도 13은 (a)가 큐 1이고 (b)가 큐 2인 본 발명의 제2 레지스터 큐의 구조적 설명도이다.

아래 도면의 간단한 설명과 구체적인 실시예를 결합하여 본 발명의 과제의 해결 수단에 대해 더 상세히 설명한다.

1. 액티브 레이저 비전에 의해 유도되는 로봇의 레이저 아크 하이브리드 용접이음 추적 시스템

도 1에 도시한 바와 같이 액티브 레이저 비전 용접이음 추적 시스템의 주요 구조는 레이저-아크 하이브리드 용접로봇, 레이저 소스, 산업용 카메라(레이저 비전 센서), 이미지 처리 시스템 및 전기 제어 시스템으로 구성된다.

여기서, 레이저-아크 하이브리드 용접 로봇에는 베이스(111), 로봇 암 및 구동기구(112)가 설치된 6축 산업용 로봇(11)이 사용된다. 로봇 암에는 하부 암(113) 및 포암(114)이 설치되고, 베이스(111)에는 하부 암(113)을 장착하기 위한 안착 베이스(115)가 설치되며, 하부 암(113)의 하부는 안착 베이스(115)와 이동식으로 연결되고, 포암(114)은 하부 암(113)의 꼭대기부에 설치되며 이동식으로 연결된다. 로봇의 레이저-아크 하이브리드 용접 조인트는 6축 산업용 로봇(11)의 포암(114)에 설치된다. 레이저-아크 하이브리드 용접 조인트는 레이저 용접 조인트(12) 및 아크 용접 토치(14)가 포함된다. 와이어 공급기구(13)는 레이저-아크 하이브리드 용접 조인트의 일측에 설치된다. 용접 전원 공급 장치는 레이저-아크 하이브리드 용접 로봇의 용접 전류, 아크 전압, 와이어 공급 속도 및 기타 매개변수를 통합적으로 조정한다.

레이저 소스에는 기본적으로 대략 450nm의 파장을 갖는 5~30mW 청색광이 사용되고, 산업용 카메라(2)는 1600×1200의 해상도를 갖는 CCD 카메라를 사용하며, 이미지 처리 시스템은 저품질의 이미지를 처리할 수 있고 협대역 필터가 필요하지 않다.

도 4에 도시한 바와 같이, 이미지 처리 시스템(비전 시스템 컨트롤러)에는 제1 중앙처리유닛, 제1 내부메모리유닛, 비전 센서 인터페이스 및 제1통신 인터페이스가 설치된다. 이미지 처리 시스템은 비전 센서 인터페이스를 통해 산업용 카메라(레이저 비전 센서)에 연결된다. 제1 내부메모리유닛, 비전 센서 인터페이스 및 제1통신 인터페이스는 모두 제1 중앙처리유닛에 연결된다.

전기 제어 시스템은 모터, 인코더 및 로봇 컨트롤러로 구성된다. 로봇 컨트롤러에는 제2 중앙처리유닛, 제2 내부메모리유닛, 제2 통신 인터페이스, 드라이버, 모션 제어 카드 및 입력/출력 인터페이스가 설치된다. 입력/출력 인터페이스는 제2 내부메모리유닛에 연결된다. 드라이버의 출력 단부는 로봇 암을 구동하는 모터의 입력 단부에 연결되며 모터의 출력 단부는 로봇 암에 연결된다. 모션 제어 카드는 로봇 암의 인코더에 연결된다. 제2 내부메모리유닛, 제2 통신 인터페이스, 드라이버, 모션 제어 카드 및 입력/출력 인터페이스는 모두 제2 중앙처리유닛에 연결되고, 로봇 컨트롤러는 제2 통신 인터페이스와 제1통신 인터페이스를 통해 이미지 처리 시스템에 전기적으로 연결된다.

2. 용접이음 이미지 처리 및 용접이음 특징점 검측 및 찾기

상기 액티브 레이저 비전 용접이음 추적 시스템을 사용하여 이미지 처리 및 용접이음 위치 검측을 수행하기 위한 구체적인 작업 방법은 다음과 같다.

용접이음 표면에 구조화된 빛을 투사하여 용접이음 윤곽 정보와 관련되는 레이저 스트라이프를 식별한다. 산업용 카메라를 이용하여 이전 단계에서 생성된 레이저 스트라이프 이미지를 획득하고, 관련 데이터를 이미지 처리 시스템으로 전송한다. 이미지 처리 시스템의 데이터 찾기 모듈을 사용하여 용접이음 특징 정보를 찾아내고, 레이저 스트라이프의 중심선으로부터 용접이음 위치를 검측한다. 즉, 무변형 레이저 스트라이프 베이스라인을 검측하고 용접이음 특징점을 찾는다. 레이저 스트라이프의 중심선에서 용접이음 위치를 검측한 후, 다양한 제어 방법으로 용접이음을 지능적으로 추적하고, 추적 결과에 따라 특정 용접 작업을 제어한다.

일반적으로, 협대역 광학 필터가 산업용 카메라와 함께 사용되어 특정 파장의 빛에 보다 민감하고 선택적이다. 하지만, 이러한 필터의 사용으로 인해 용접 공정이 충분히 유연하지 않아 레이저 스트라이프와 용접 백색 노이즈 사이의 콘트라스트가 줄어들 수 있다. 그 결과 찾아낸 레이저 스트라이프 위치 윤곽에 많은 노이즈가 생성되어 이미지 전처리 효과가 불량하고, 특히 특징점 식별 능력이 저하 및 악화된다.

본 발명의 용접이음 이미지 처리 및 용접이음 위치 검측 알고리즘에는 추가적인 협대역 광학 필터가 필요하지 않다. 이 알고리즘은 주로 다음의 두 부분으로 구성된다. (1) 무변형 레이저 스트라이프 베이스라인 식별; (2) 용접이음 특징점 찾기.

(1) 무변형 레이저 스트라이프 베이스라인 식별

단계 1, 이미지 전처리

이미지 전처리는 이미지에서 중복되고 불필요한 대상을 제거할 수 있다. 일반적으로, 협대역 필터가 있는 산업용 카메라를 사용하여 특정 파장의 청색 레이저를 보다 민감하고 선택적으로 통과시킨다. 하지만, 필터를 사용하면 용접 공정의 유연성이 떨어지고, 용접 공정 중에 레이저 스트라이프와 백색 노이즈 사이의 콘트라스트가 감소하기 때문에 결과적으로 백색 노이즈를 레이저 스트라이프로부터 효과적으로 분리하기가 어렵다. 평균치 파장필터링을 통해 청색 레이저를 주변 영역의 픽셀로 확산시켜, 레이저 스트라이프의 중앙에 있는 높은 강도의 포화 픽셀을 더 매끄럽게 하고 이미지 백그라운드의 고강도 노이즈를 억제시킨다. 이 평균치 파장필터링 방법은 다음과 같다.

상기

는 기대되는 레이저 스트라이프 폭의 최대값이고,

는 제i행과 제j열 픽셀의 이미지 강도이며,

는 파장필터링 후 제i행과 제j열의 결과값이다.

처리된 이미지를 RGB 색공간에서 HSV 색공간으로 전환하고, 즉 이미지에서 레이저 블루레이 색상을 정밀하게 찾아내고 HSV 세 채널에 대한 임계값을 설정하며, 이미지에 마스킹을 적용하여 세 개의 임계값 설정으로 저품질 레이저로부터 생성된 낮은 콘트라스트 레이저 스트라이프에 대해 후속 처리를 수행할 수 있다.

상기

,

및

각H, S 및 V 세 채널에 대한 마스킹 임계값이고, i 및 j는 각 픽셀의 행 번호와 열 번호이며,

은 최종적으로 획득한 마스킹된 교차 영역을 나타낸다.

회색 톤 처리를 통해 원본 RGB 이미지를 회색 톤 이미지로 전환하며 방법은 다음과 같다.

원본 RGB(R, G, B)의 R, G 및 B가 회색으로 대체되어 새로운 컬러 RGB(회색, 회색, 회색)가 형성되며, RGB(R, G, B) 이미지를 대체하는 단일 채널 회색 톤 이미지가 생성된다.

이 단일 채널 회색 톤 이미지에 마스킹된 교차 영역

이 적용되고 중앙값 필터링이 수행된다. 여기에서 중앙값 파장필터링에 홀수 지점을 포함하는 슬라이딩 윈도우를 사용하며 회색 톤에 따라 주변 픽셀의 순위를 정한 다음 그 중앙값을 출력 픽셀로 선택한다. 이 방법은 고주파 레이저 반사 및 용접이음 아크 불꽃에 의해 생성된 백색 노이즈, 점잡음 및 반점잡음을 효과적으로 억제 또는 제거할 수 있다.

단계 1에서 획득하고 처리된 이미지를 후속 이미지 처리 과정에 추가 사용한다.

단계 2, 레이저 스트라이프 윤곽 검측

레이저 피크 검측 방법을 통해 레이저 스트라이프의 윤곽 에지 픽셀을 찾아낸다. 수직 레이저 스트라이프를 예로 들면, 각 행의 피크 픽셀은 일반적으로 레이저 스트라이프 영역에 위치한다. 즉, 각 행의 최대 강도 픽셀의 80%를 임계값으로 설정하고, 다중 피크점을 이미지의 레이저 스트라이프 위치 지점으로 찾고 임계값보다 작은 나머지는 0으로 설정하여 고려하지 않는다. 동시에 파장필터를 사용하여 찾아낸 수평 방향의 대상을 PN(Pseudo Noise)으로 인식하여 억제함으로써 픽셀 강도 피크점을 효과적으로 찾도록 한다. 이 파장필터링 효과는 실제로 레이저 스트라이프 외부의 노이즈 스파이크를 감소시키므로 레이저 스트라이프의 강도 분포 폭이 감소하여 노이즈가 없는 스파이크 그룹을 더 쉽게 구분할 수 있다. 마지막으로, 일련의 피크점을 찾아낸다.

다항식 피팅 방법을 사용하여 상기 획득한 피크점을 피팅하며, 피팅을 통해 반환되는 직선은 레이저 스트라이프 베이스라인의 검측 위치이다.

(2) 용접이음 특징점 찾기

수직 레이저 스트라이프로부터 얻은 베이스라인을 예로 들어, 베이스라인을 따라 변형된 영역은 베이스라인상의 용접이음 특징점을 포함하는 위치로 간주될 수 있음을 알 수 있다. 레이저 스트라이프 이미지에서 이러한 용접이음 특징점을 찾는 절차는 다음과 같다. (1) 수직 방향에서 ROI 결정; (2) 교차점 표시 및 선택; (3) 수평 방향에서 ROI 결정; (4) 용접이음(수평) 피크점 검측.

상기 획득한 레이저 베이스라인 주변에서 파장필터링을 거친 이미지를 다음과 같은 방법으로 잘라 수직 및 수평 방향의 ROI를 결정한다.

수직 ROI는 다음 공식으로 계산한다.

상기

는 기대되는 레이저 스트라이프 폭이고,

은 이미지의 행수이며,

는 제i행과 제j열의 이미지 강도이고,

는 이미지의 관심 영역이고,

는 원본 이미지에서 검측된 레이저 라인의 열을 표시한다.

여기에서 획득한 레이저 라인의 변형된 영역 상부 꼭대기 특징점과 하부 바닥 특징점을 획득한다.

수평 ROI는 다음 공식으로 계산한다.

상기 식에서,

,

및

는

은

이미지의 열수이다.

여기서, 찾아진 레이저 라인의 변형된 영역에 대한 용접이음(수평) 피크 특징점을 얻을 수 있고, 용접이음(수평) 피크 특징점을 얻는 방법은 다음과 같다.

단계 1, 노이즈 지점을 제거하고, 수평 ROI 레이저 스트라이프의 특징점, 즉 찾아낸 레이저 스트라이프 윤곽의 변형된 영역의 특징점을 찾아낸다.

단계 2, ROI의 레이저 스트라이프 윤곽을 상부 및 하부 두 영역으로 나누고, 다음 제약 조건에 따라 상부 영역 및 하부 영역 내 윤곽 외부에서 레이저 스트라이프 윤곽 변형 영역의 불연속점에 연속을 추가한다.

상기

는 기대되는 레이저 스트라이프 폭이고,

는 추가된 불연속점의 열을 표시한다.

단계 3, 상기 언급된 전체 ROI 내에서 상부 및 하부 레이저 스트라이프 상의 윤곽점과 추가된 불연속점으로 이루어진 점집합에 대해 선형 피팅을 하여 획득한 두 직선의 교차점이 바로 용접이음 피크의 특징점이다. 이 용접이음 특징점 찾기는 도 2에 도시되어 있다.

요약하면, 이미지 처리를 거쳐 레이저 스트라이프 검측 및 용접이음 특징점 찾기 프로세스가 완성되면 이 레이저 스트라이프 용접이음의 변형된 영역 내에서 꼭대기 지점과 바닥 지점 및 레이저 스트라이프 용접이음의 중심점을 획득한다.

상기 용접이음 이미지 처리 및 용접이음 특징점 검측 및 찾기 프로세스는 도 3과 같이 요약할 수 있다.

용접이음 추적 과정에서 산업용 로봇의 경로가 정확하거나 부정확한지 판별할 수 있으며, 추적 과정에서 산업용 로봇의 경로가 정확하다고 판단되면 구체적인 작업 방법은 다음과 같다.

a) 로봇 컨트롤러가 HOME 위치 신호를 보내고 산업용 로봇이 프로그램의 초기 위치에 도달한 후 산업용 로봇이 시작점을 탐색하기 시작한다.

b) 로봇 컨트롤러는 로봇 툴측 TCP의 시작점을 탐색한다.

c) 용접이음 특징점에 대응하는 레이저 비전 센서 위치 시퀀스를 기록하기 위해 제1 레지스터 큐를 생성한다.

d) 로봇 툴측 TCP가 초기 용접이음 특징점에 있는지 확인하고, 그렇지 않은 경우, 단계 b) 내지 단계 c)에 따라 로봇 툴측 TCP의 시작점을 다시 찾고, 그런 경우, 로봇 툴측 TCP가 용접이음 경로의 시작 위치에 있음을 나타내는 신호가 전송되며, 로봇 컨트롤러는 용접 작업 명령을 시작한다.

e) 상기 로봇 컨트롤러는 용접이음 추적 작업 명령을 수행한다.

f) 용접이음 특징점에 대응하는 레이저 비전 센서 위치 시퀀스를 기록하기 위해 제1 레지스터 큐를 계속 생성한다.

g) 로봇 툴측 TCP가 용접이음 특징점 추적 작업을 수행한다.

h) 로봇 툴측 TCP 지점이 마지막 용접이음 특징점에 있는지 확인하고, 그렇지 않은 경우, 단계 f) 내지 단계 g)에 따라 제1 레지스터 큐를 다시 생성하고, 그런 경우, 로봇 툴측 TCP가 용접 경로의 맨 끝단 위치에 있음을 나타내는 신호가 전송된다.

i) 로봇 컨트롤러가 용접 작업 명령을 종료한다.

용접이음 추적 과정에서 산업용 로봇의 경로가 부정확한 것으로 밝혀지면, 즉 편차가 있는 경우, 용접이음 특징점 궤적의 편차를 보정하여 로봇 툴측 TCP 지점이 상대적으로 정확한 용접이음 특징점에 의해 생성된 경로에 따라 이동할 수 있도록 해야 한다. 구체적인 추적 방법은 다음과 같다.

a) 로봇 컨트롤러가 HOME 위치 신호를 보내고, 산업용 로봇(11)이 프로그램의 초기 위치에 도달한 후 시작점을 탐색하기 시작한다.

b) 로봇 컨트롤러는 로봇 툴측 TCP의 시작점을 탐색한다.

d) 로봇 툴측 TCP가 초기 용접이음 특징점에 있는지 확인하고, 그렇지 않은 경우, 단계 b) 내지 단계 c)에 따라 로봇 툴측 TCP의 시작점을 다시 찾고, 그런 경우, 로봇 툴측 TCP가 용접이음 경로의 시작 위치에 있음을 나타내는 신호가 전송된다.

e) 로봇 컨트롤러가 산업용 로봇(11)이 시운전 중인지 확인한다.

f) 단계 e)에서 산업용 로봇(11)이 시운전 중이 아니라는 결과를 얻으면 로봇 컨트롤러는 용접이음 특징점에 대응하는 레이저 비전 센서 위치 시퀀스를 기록하기 위해 제1 레지스터 큐를 계속해서 생성하도록 산업용 로봇에 명령을 하달한다.

g) 로봇 툴측 TCP가 용접 경로의 맨 끝단 위치에 있음을 나타내는 신호를 전송한다.

h) 로봇 컨트롤러가 용접 작업 명령을 종료한다.

i), 단계 e)에서 산업용 로봇(11)이 시운전 중이라는 결과를 얻으면 로봇 컨트롤러가 용접이음 특징점에 대응하는 레이저 비전 센서 위치 시퀀스를 기록하기 위해 제2 레지스터 큐를 생성하도록 산업용 로봇에 명령을 하달한다.

j) 로봇 컨트롤러는 산업용 로봇(11)이 제W회 시운전을 완료했는지 확인하고, 모니터링한 결과가 완료되지 않은 것으로 나타나면, 단계 a) 내지 단계 i)를 반복한다.

k) 이전 단계에서 모니터링한 결과에서 산업용 로봇(11)이 제W회 시운전을 완료한 경우, 제W회 시운전에서 얻은 용접이음 특징점의 최적 추정치 및 이에 대응하는 레이저 비전 센서 위치 시퀀스를 계산한다.

l) 로봇 컨트롤러는 용접 작업을 시작하도록 산업용 로봇(11)에 명령을 하달한다.

m) 산업용 로봇(11)은 용접 작업 명령을 수신한 후, 용접 작업을 시작한다.

n) 로봇 컨트롤러는 용접이음 추적 작업 명령을 수행한다.

o) 로봇 툴측 TCP는 용접이음 특징점에 대한 최적의 추정치를 참조하여 추적 작업을 수행한다.

p) 로봇 컨트롤러는 로봇 툴측 TCP 지점이 마지막 용접이음 특징점에 있는지 확인하고, 그렇지 않은 경우, 단계 f) 내지 단계 g)에 따라 제1 레지스터 큐를 다시 생성하고, 그런 경우, 로봇 툴측 TCP가 용접 경로의 맨 끝단 위치에 있음을 나타내는 신호를 전송한다.

q) 로봇 컨트롤러가 용접 작업 명령을 종료한다.

3. 용접이음 추적 알고리즘

는 기대되는 엔드 이펙터 포즈로,

는 엔드 이펙터의 좌표계로,

는 목표 좌표계로,

는 카메라의 좌표계로,

는 로봇 암 베이스의 좌표계로,

점은 레이저 스트라이프 용접이음의 중심점으로 및

은

로 표시되는

지점에 대한 이미지 픽셀 좌표이고, 카메라의 고유 매개변수 매트릭스는

이고, 카메라의 좌표계와 로봇 암 말단의 좌표계에 대한 변환 매트릭스는 핸드-아이 매트릭스

이고, 카메라의 좌표계에서 레이저 평면의 평면 방정식은

이다.

먼저, 카메라의 핸드-아이 매트릭스에 따라 카메라의 좌표계에서 이미지 좌표의 용접이음 중심 특징점인

점의 좌표(

로 표기)를 얻는다.

카메라 좌표계에서 레이저 평면의 평면 방정식

에 따라, 카메라 좌표계에서 용접이음 중심 특징점인

점의 3차원 좌표를 얻는다.

상기 위치와 포즈에 따라 핸드-아이 매트릭스

를 사용하여, 로봇의 엔드 이펙터 좌표계에서 용접이음 중심 특징점인

점의 좌표를 얻는다.

로봇 베이스의 좌표계에서

점의 좌표는 다음과 같다.

편의상 이를

으로 표기한다.

이를 바탕으로, 티칭 과정에서 용접이음 특징점 궤적의 편차로 인한 로봇 추적 실패 문제를 해결하기 위해 로봇의 정확한 경로에 대한 용접이음 추적 알고리즘과 로봇의 부정확한 경로에 대한 용접이음 추적 알고리즘을 각각 제안한다.

(1) 제1 레지스터 큐 생성

(a) 비전 센서가 제1용접이음 특징점을 검측한 뒤, 상기 특징점의 좌표를 카메라의 좌표계에서

로 표시하고, 로봇 베이스의 좌표계에서

로 표시하며, 동시에 이 특징점을 획득할 때 용접이음 방향에 따른 비전 센서의 위치를

로 정의하고, 상기 위치와 용접이음 특징점은 일대일로 대응되며, 상기 로봇 툴측 TCP의 현재 위치를

로 정의하고, 로봇 베이스의 좌표계에서 좌표를 다음과 같이 표시한다.

여기서, 연산자

는 일반화된 벡터 감산으로 간주할 수 있다.

(b) 따라서, 로봇 툴측 TCP가 현재 위치

에서 원하는 지점

까지, 즉 비전 센서에 의해 검측되는 용접이음 특징점 위치까지 이동되도록 하기 위해 로봇 툴측 TCP 지점에 대해 위치 보정할 거리는 다음과 같다.

상기 로봇 툴측 TCP 지점이

지점에 위치하는 경우, 로봇 베이스의 좌표계에서 좌표는 다음과 같이 표시한다.

상기 연산자

는 일반화된 벡터 가산으로 간주할 수 있고,

는 상기 공식의

에 대응한다. 도 5는 상대적 위치와 포즈 네트워크를 보여주는 설명도이다.

(c) 상기 단계에 따라 비전 센서의 위치 점집합 큐는

으로 하고,

는 용접이음 특징점의 맨 끝단 위치에 대응하는 센서 끝단 위치로 한다.

도 6에 도시한 제어 전략에 따라 제1 레지스터 큐가 형성, 즉 도 7에 도시한 바와 같이 용접이음 특징점과 일대일로 대응하는 비전 센서 위치 지점 큐이다.

도 7의 두 개의 큐 중 (a)는 큐 1이고, 여기에서 용접이음 특징점

내지

를 포함하고, 여러 번의 시운전으로부터 얻은 참조 용접이음 특징점

내지

의 위치와 일대일로 대응한다. (b)는 큐 2이고 용접이음 방향을 따라 로봇 툴측 TCP 지점의

내지

의 위치가 포함된다. 로봇 암에 대한 상기 제어 방식에 따라, 회전 조인트 또는 공간 좌표 이동 방식으로, 로봇 암 툴측 TCP 지점의 인접한 순차적 위치 지점사이에 보간을 수행하여, 로봇 암이 중간 궤적 지점으로 부드럽게 이동함으로써 원하는 위치와 포즈를 확보한다. 상기 프로세스의 흐름은 도 8에 도시된 바와 같다.

또한, 수동 티칭이 매우 정확하다는 전제 하에, 즉 로봇의 전체 티칭 과정에서 로봇 툴측 TCP 지점이 용접이음의 중심선과 일관되게 유지되는 한편, 비전 센서 또는 전체 비전 시스템이 전체 티칭 과정에서 용접이음 특징점 위에 수직 방향 고정 위치에 놓이는지 확인함으로써, 상기 용접이음 추적 방법은 로봇의 레이저 용접 과정에 효과적으로 적용될 수 있다.

(2) 제2 레지스터 큐 생성

작업자가 수동 티칭 과정에서 로봇 툴측 TCP 지점이 언제나 용접이음의 중심선에 있다는 것을 확인하더라도 도 9에 나타낸 바와 같이 로봇 티칭 과정에서 비전 센서가 용접이음 궤적에서 벗어나는 상황을 피하기는 어렵다.

도 9에 도시한 바와 같이, 수동 티칭 과정에서 비전 센서의 이동 경로에 작은 편차가 있지만, 로봇 툴측 TCP는 정확히 용접이음 중심선을 따라 이동한다. 결과적으로, 비전 시스템으로 찾아고 추정된 용접이음 특징점 궤적은 편차를 가지며, 상기 제1 레지스터 큐의 용접이음 추적 방법을 적용했을 때, 특정 편차로 이어져 추적 정밀도 및 정확도에 영향을 미친다.

도 10에 도시한 바와 같이 수동 티칭 과정에서 로봇 툴측 TCP는 인적 요인으로 인해 용접이음 경로에서 벗어날 수 있고, 이로 인해 비전 시스템을 통해 찾고 추정한 용접이음 특징점 궤적에 편차가 발생할 수 있고, 이후에 이를 바탕으로 용접이음 추적을 수행하면 로봇 툴측 TCP가 용접이음 경로에서 벗어나 용접이 실패할 수 있다.

상기 문제를 해결하기 위해, 로봇 툴측 TCP 지점이 용접이음 특징점에 의해 생성된 정확한 경로를 따라 이동하면서 레이저 용접 작업을 수행할 수 있도록 상기 두 가지 경우로 발생한 용접이음 특징점 궤적의 편차를 보정해야 한다.

작업자에 의한 수동 티칭 과정에서 비전 센서의 편차 또는 로봇 자체의 움직임에서 위치 및 포즈 편차로 인해 발생하는 용접이음 특징점 궤도의 편차는 향후 자동 용접이음 추적에 영향을 미친다. 따라서, 상기 편차를 보정해야 한다. 전제로 로봇의 용접이음 추적을 위해 용접이음 특징점 시퀀스에 의해 생성된 정확하고 신뢰할 수 있는 궤적이 필요하다.

(a) 원하는 용접이음 특징점 시퀀스를 기준으로 얻기 위해, 먼저 이 용접이음과 관련하여 로봇에 대한 티칭 프로그래밍을 수행하고, 로봇 툴측 TCP 지점이 용접이음의 중심선에서 움직이도록 하여 정상적인 용접 작동 속도에서 실행될 때, 비교적 안정적인 로봇 툴측 TCP 궤적 프로그램을 얻을 수 있다.

(b) 비전 센서의 위치와 포즈가 정확하게 고정되었다는 가정하에 "제1 레지스터 큐" 방법에 따라 용접이음 특징점 시퀀스를 찾고 용접이음 방향을 따라 비전 센서의 위치 지점 시퀀스를 결정하고(두 시퀀스는 일대일로 대응하는 관계) 후자는

로 표시한다. 동시에 용접이음 방향을 따라 로봇 툴측 TCP 지점의

위치를 기록하는 경우, 로봇 툴측 TCP 지점에 대한 위치 보정과 용접이음 특징점에 대한 후속 추적 작업을 수행하지 않는다.

상기 로봇이 제W회 시운전을 수행하고, 비전 센서의 위치 지점에서 로봇 베이스의 좌표계와 비교하여 용접이음 특징점의 좌표 시퀀스를 다음과 같이 표시한다.

여기에 기초하여, 비전 센서의 위치 지점에 대응하는 용접이음 특징점의 좌표를 최적으로 추정하여 편차가 큰 용접이음 특징점의 좌표를 거부함으로써 도 10에 도시한 "로봇 시운전의 용접이음 특징점 궤적"을 얻은 다음 로봇 툴측 TCP 지점 추적에 필요한 기준값으로 정한다. 이 기준값은 다음과 같이 표시된다.

는

에 대응되며, 그 연관성은 도 11에 도시한 바와 같다.

시운전으로부터 얻은 용접이음 특징점의 좌표를 참조하여, 로봇 툴측 TCP 지점은 이탈 지점에서 잘못된 유도를 피하고, 발산에 의한 편차를 보정함으로써 용접이음 중심선을 따라 올바르게 이동한다.

(c) 상기 단계에 따라 시운전으로부터 얻은 용접이음 특징점 위치를 로봇 툴측 TCP의 자동 추적이 필요한 제어 전략을 도 12에 표시하였다.

도 12에 도시한 제어 전략에 따라, 제2 레지스터 큐, 즉 용접이음 특징점과 일대일로 대응하는 비전 센서 위치 지점 큐와 로봇 툴측 TCP 지점에 의한 추적 과정에서 용접이음 방향에 따라 놓인 위치 지점 큐를 도13에 표시하였다.

(a)는 큐 1이고 여기에서 용접이음 특징점

내지

, 여러 번의 시운전으로부터 얻은 참조 용접이음 특징점

내지

를 포함하고, 이는 용접이음 방향에 따라 비전 센서의

내지

의 위치 및 시운전 중

내지

의 위치와 일대일로 대응된다. (b)는 큐 2이고 여기에서 용접이음 방향을 따라 로봇 툴측 TCP 지점의

내지

의 위치가 포함된다. 로봇 암에 대한 상기 제어 방식에 따라, 회전 조인트 또는 공간 좌표 이동 방식으로, 로봇 암 툴측 TCP 지점의 인접한 순차적 위치 지점 사이에 보간을 수행하여, 로봇 암이 중간 궤적 지점으로 부드럽게 이동함으로써 원하는 위치와 포즈를 확보한다.

Claims

베이스, 로봇 암 및 구동기구로 구성되는 산업용 로봇;
상기 로봇 암은 하부 암과 포암(forearm)으로 구성되고, 상기 베이스에는 상기 하부 암을 장착하는 데에 사용되는 안착 베이스가 설치되며, 상기 하부 암의 하부는 상기 안착 베이스와 이동식으로 연결되고, 상기 포암은 상기 하부 암의 꼭대기부에 이동식으로 연결되며, 상기 산업용 로봇의 포암에는 일측에 와이어 공급기구가 설치되는 레이저-아크 하이브리드 용접 조인트가 설치되며;
레이저 소스, 레이저 스트라이프를 식별하는 데에 사용되는 레이저 비전 센서 및 용접이음 특징 정보를 찾고 용접이음 위치를 검측하는 데에 사용되는 이미지 처리 시스템이 포함되는 액티브 레이저 비전 시스템;
상기 이미지 처리 시스템은 레이저 비전 센서와 전기적으로 연결되며;
로봇 컨트롤러를 포함하고, 상기 산업용 로봇 및 상기 산업용 로봇의 암동작을 제어하는 데에 사용되는 전기 제어 시스템;
상기 이미지 처리 시스템과 로봇 컨트롤러는 양방향 통신으로 연결되며;
를 포함하는 것을 특징으로 하는 액티브 레이저 비전 용접이음 추적 시스템.
제1항에 있어서,
상기 이미지 처리 시스템은 제1 중앙처리유닛, 제1 내부메모리유닛, 비전 센서 인터페이스 및 제1통신 인터페이스를 포함하고; 상기 레이저 비전 센서는 상기 비전 센서 인터페이스를 통해 이미지 처리 시스템 중의 각 유닛과 양방향 통신을 수행하는 것을 특징으로 하는 액티브 레이저 비전 용접이음 추적 시스템.
제1항에 있어서,
상기 로봇 컨트롤러는 제2 중앙처리유닛, 제2 내부메모리유닛, 제2 통신 인터페이스, 드라이버, 모션 제어 카드 및 입력/출력 인터페이스를 포함하고, 상기 입력/출력 인터페이스는 명령 입력 및 명령 출력에 사용되며, 상기 드라이버는 로봇 암의 모터와 전기적으로 연결되며, 상기 모션 제어 카드는 로봇 암의 인코더와 연결되는 것을 특징으로 하는 액티브 레이저 비전 용접이음 추적 시스템.
제1항에 있어서,
상기 레이저 비전 센서는 산업용 카메라를 이용하는 것을 특징으로 하는 액티브 레이저 비전 용접이음 추적 시스템.
아래와 같은:
레이저 비전 센서는 용접이음 표면에 구조화된 빛을 투사하여 용접이음 윤곽 정보와 관련되는 레이저 스트라이프를 식별하는 단계 1;
이미지 처리 방법을 사용하여 용접이음 특징 정보를 찾고, 레이저 스트라이프의 중심선으로부터 용접이음 위치를 검측하는 단계 2;
용접이음에 대해 지능적으로 추적하고, 산업용 로봇의 용접이음 추적 경로가 정확한지를 확인하는 단계 3;
용접이음에 대한 지능적인 추적 결과에 따라 로봇의 용접 작업을 제어하는 단계 4;
를 포함하는 것을 특징으로 하는 청구항 1 내지 4 중의 어느 한 항의 상기 액티브 레이저 비전 용접이음 추적 시스템의 용접이음 위치 검측 방법.
제5항에 있어서,
상기 단계 2는 아래와 같은:
2.1, 이미지 전처리:
a, 레이저 비전 센서로 획득한 레이저 스트라이프 이미지에 대해 평균치 파장필터링 수행:

상기
는 기대하는 레이저 스트라이프 폭이고,
는 제i행과 제j열 픽셀의 이미지 강도이며,
는 파장필터링 후 제i행과 제j열의 결과값이고;
b, 처리된 이미지를 RGB 색공간에서 HSV 색공간으로 전환하고, HSV 채널에 대한 임계값을 설정하고, 이미지에 마스킹을 적용:

상기
,
및
는 각각 H, S 및 V 세 채널에 대한 마스킹 임계값이고, i 및 j는 각각 픽셀의 행 번호와 열 번호이며,
은 최종적으로 획득한 마스킹된 교차 영역을 나타내며;
c, 원본 RGB 이미지를 회색 톤 처리를 통해 회색 톤 이미지로 전환:

상기 원본 RGB(R, G, B)의 R, G 및 B가 회색으로 대체되어 새로운 컬러 RGB(회색, 회색, 회색)가 형성되며, RGB(R, G, B) 이미지를 대체하는 단일 채널 회색 톤 이미지가 생성되고, 마스킹된 교차영역이 이 단일 채널 회색 톤 이미지에 적용되고;
d, 점잡음 및 반점잡음을 제거하기 위해 이미지에 대해 중앙값 파장필터링을 수행하며;
2.2, 레이저 스트라이프 윤곽 검측:
a, 레이저 피크 검측 방법을 통해 레이저 스트라이프의 윤곽 에지 픽셀을 찾고;
b, 수평 방향에서 생성된 픽셀 강도 피크점에 대해 노이즈 파장필터링을 수행하고 얻어진 픽셀 강도 피크점을 피팅하여 레이저 스트라이프의 기준점 위치를 확보하며;
2.3, 용접이음 특징점 찾기:
a, 수직 방향의 ROI 결정:
상기

상기
는 기대되는 레이저 스트라이프 폭이고,
는 이미지의 행수이며,
는 제i행과 제j열의 이미지 강도이고,
는 이미지의 관심 영역이고,
는 원본 이미지에서 검측된 레이저 라인의 열을 표시하고;
여기에서 획득한 레이저 라인의 변형된 영역 상부 꼭대기 특징점과 하부 바닥 특징점을 획득하며;
b, 교차점 표시 및 선택:
c, 수평 방향에서 ROI 결정:

상기 식에서,
,
,
및
는
이미지의 교차점 상부 꼭대기 지점 및 하부 바닥 지점의 y축 및 x축 상의 좌표이고,
은
이미지의 열수이며;
d, 용접이음의 수평 피크 특징점 획득:
d1, 노이즈 지점을 제거하고, 수평 ROI에서 레이저 스트라이프의 윤곽점을 찾고;
d2, ROI의 레이저 스트라이프 윤곽을 상부와 하부 두 영역으로 나누고, 다음 제약 조건에 따라 상부 영역 및 하부 영역 내 윤곽 외부에서 레이저 스트라이프 윤곽 변형 영역의 불연속점에 연속을 추가하며;

상기
는 기대되는 레이저 스트라이프 폭이고,
는 추가된 불연속점의 열을 표시함;
d3, 상기 언급된 전체 ROI 내에서 상부 및 하부 레이저 스트라이프 상의 윤곽점과 추가된 불연속점으로 이루어진 집합점에 대해 각각 선형 피팅을 하여 획득한 두 직선의 교차점이 바로 용접이음 피크의 특징점임;
이미지 처리를 거쳐 레이저 스트라이프 검측 및 용접이음 특징점 찾기 프로세스가 완성되면 이 레이저 스트라이프 용접이음의 변형된 영역 내에서 꼭대기 지점과 바닥 지점 및 레이저 스트라이프 용접이음의 중심점을 획득하는 절차를 포함하는 것을 특징으로 하는 용접이음 위치 검측 방법.
제5항에 있어서,
상기 단계 3에서 산업용 로봇의 용접이음 추적 경로의 정확 여부 확인시,
1.1, 로봇 컨트롤러는 HOME 위치 신호를 전송하고, 산업용 로봇은 시작점을 탐색하고;
1.2, 로봇 컨트롤러는 로봇 툴측 TCP의 시작점을 탐색하며;
1.3, 용접이음 특징점에 대응하는 레이저 비전 센서 위치 시퀀스를 기록하기 위해 제1 레지스터 큐를 생성하고;
1.4, 로봇 툴측 TCP가 초기 용접이음 특징점에 있는지 확인하고, 그렇지 않은 경우, 단계 1.2 내지 단계 1.3에 따라 로봇 툴측 TCP의 시작점을 다시 찾고, 그런 경우, 로봇 툴측 TCP가 용접이음 경로의 시작 위치에 있음을 나타내는 신호가 전송되며, 로봇 컨트롤러는 용접 작업 명령을 시작하며;
1.5, 상기 로봇 컨트롤러는 용접이음 추적 작업 명령을 수행하고;
1.6, 용접이음 특징점에 대응하는 레이저 비전 센서 위치 시퀀스를 기록하기 위해 제1 레지스터 큐를 계속 생성하며;
1.7, 로봇 툴측 TCP가 용접이음 특징점 추적 작업을 수행하고;
1.8, 로봇 툴측 TCP가 마지막 용접이음 특징점에 있는지 확인하고, 그렇지 않은 경우, 단계 1.6 내지 단계 1.7에 따라 제1 레지스터 큐를 다시 생성하고, 그런 경우, 로봇 툴측 TCP가 용접 경로의 맨 끝단 위치에 있음을 나타내는 신호를 전송하며;
1.9, 로봇 컨트롤러가 용접 작업 명령을 종료하는 것을 특징으로 하는 용접이음 위치 검측 방법.
제 5항에 있어서,
상기 단계 3에서 산업용 로봇 용접이음 추적 경로에서 편차 발견시, 용접이음 특징점 궤적의 편차를 보정하는 절차는,
2.1, 로봇 컨트롤러는 HOME 위치 신호를 전송하고, 산업용 로봇은 시작점을 탐색하고;
2.2, 로봇 컨트롤러는 로봇 툴측 TCP의 시작점을 탐색하며;
2.3, 용접이음 특징점에 대응하는 레이저 비전 센서 위치 시퀀스를 기록하기 위해 제1 레지스터 큐를 생성하고;
2.4, 로봇 툴측 TCP가 초기 용접이음 특징점에 있는지 확인하고, 그렇지 않은 경우, 단계 2.2 내지 단계 2.3에 따라 로봇 툴측 TCP의 시작점을 다시 찾고, 그런 경우, 로봇 툴측 TCP가 용접이음 경로의 시작 위치에 있음을 나타내는 신호를 전송하며;
2.5, 로봇 컨트롤러가 산업용 로봇이 시운전 중인지 확인하고;
2.6, 산업용 로봇이 시운전 중이 아니라면 로봇 컨트롤러는 용접이음 특징점에 대응하는 레이저 비전 센서 위치 시퀀스를 기록하기 위해 제1 레지스터 큐를 계속해서 생성하도록 산업용 로봇에 명령을 하달하며;
2.7, 로봇 툴측 TCP가 용접 경로의 맨 끝단 위치에 있음을 나타내는 신호를 전송하고;
2.8, 로봇 컨트롤러가 용접 작업 명령을 종료하며;
2.9, 산업용 로봇이 시운전 중이라면 로봇 컨트롤러가 용접이음 특징점에 대응하는 레이저 비전 센서 위치 시퀀스를 기록하기 위해 제2 레지스터 큐를 생성하도록 산업용 로봇에 명령을 전달하고;
2.10, 로봇 컨트롤러는 산업용 로봇이 제W회 시운전을 완료했는지 확인하고, 모니터링한 결과가 완료되지 않은 것으로 나타나면, 단계 2.1 내지 2.9를 반복 수행하며;
2.11, 산업용 로봇이 제W회 시운전을 완료한 경우, 제W회 시운전에서 얻은 용접이음 특징점의 최적 추정치 및 이에 대응하는 레이저 비전 센서 위치 시퀀스를 계산하고;
2.12, 로봇 컨트롤러는 용접 작업을 시작하도록 산업용 로봇에 명령을 하달하며;
2.13, 산업용 로봇은 용접 작업 명령을 수신한 후, 용접 작업을 시작하고;
2.14, 로봇 컨트롤러는 용접이음 추적 작업 명령을 시작하며;
2.15, 로봇 툴측 TCP는 용접이음 특징점에 대한 최적의 추정치를 참조하여 추적 작업을 수행하고;
2.16, 로봇 컨트롤러는 로봇 툴측 TCP 지점이 마지막 용접이음 특징점에 있는지 확인하고, 그렇지 않은 경우, 단계 2.6 내지 단계 2.7에 따라 제1 레지스터 큐를 다시 생성하고, 그런 경우, 로봇 툴측 TCP가 용접 경로의 맨 끝단 위치에 있음을 나타내는 신호를 전송하며;
2.17, 로봇 컨트롤러가 용접 작업 명령을 종료하는 것을 특징으로 하는 용접이음 위치 검측 방법.
는 기대되는 엔드 이펙터 포즈로,
는 엔드 이펙터의 좌표계로,
는 목표 좌표계로,
는 카메라의 좌표계로,
는 로봇 암 베이스의 좌표계로,
점은 레이저 스트라이프 용접이음의 중심점으로 및
은
로 표시되는
지점에 대한 이미지 픽셀 좌표이고, 카메라의 고유 매개변수 매트릭스는
이고, 카메라의 좌표계 및 로봇 암 말단의 좌표계에 대한 변환 매트릭스는 핸드-아이 매트릭스
이고, 카메라의 좌표계에서 레이저 평면의 평면 방정식은
이며;
먼저, 카메라의 핸드-아이 매트릭스에 따라 카메라의 좌표계에서 이미지 좌표의 용접이음 중심 특징점인
점의 좌표(
로 표기)를 획득하고;

카메라 좌표계에서 레이저 평면의 평면 방정식
에 따라, 카메라 좌표계에서 용접이음 중심 특징점인
점의 3차원 좌표를 획득하며;

상기 위치와 포즈에 따라 핸드-아이 매트릭스
를 사용하여, 로봇의 엔드 이펙터 좌표계에서 용접이음 중심 특징점인
점의 좌표를 획득하고;

로봇 베이스의 좌표계에서
점의 좌표는 다음과 같은,

으로 표기함;
(1) 제1 레지스터 큐 생성
(a) 비전 센서가 제1용접이음 특징점을 검측한 뒤, 상기 특징점의 좌표를 카메라의 좌표계에서
로 표시하고, 로봇 베이스의 좌표계에서
로 표시하며, 동시에 이 특징점을 획득할 때 용접이음 방향에 따른 비전 센서의 위치를
로 정의하고, 상기 위치와 용접이음 특징점은 일대일로 대응되며, 상기 로봇 툴측 TCP 지점의 현재 위치를
로 정의하고, 로봇 베이스의 좌표계에서 좌표를 다음과 같이 표시:

여기서, 연산자
는 일반화된 벡터 감산이며;
(b) 따라서, 로봇 툴측 TCP가 현재 위치
에서 원하는 지점
까지, 즉 비전 센서에 의해 검측되는 용접이음 특징점 위치까지 이동되도록 하기 위해 로봇 툴측 TCP 지점에 대해 위치 보정할 거리는:

상기 로봇 툴측 TCP 지점이
지점에 위치하는 경우, 로봇 베이스의 좌표계에서 좌표는 다음과 같이 표시됨:

상기 연산자
는 일반화된 벡터 가산이고,
는 상기 공식의
에 대응함;
(c) 상기 단계에 따라, 비전 센서의 위치 점집합 큐는
으로 하고,
는 용접이음 특징점의 맨 끝단 위치에 대응하는 센서 끝단 위치임;
용접이음 특징점과 일대일로 대응하는 두 개의 큐, 즉 비전 센서 위치 지점 큐를 형성: 여기서, 큐 1은 용접이음 특징점
내지
를 포함하고, 상기 용접이음 방향을 따라 비전 센서의
내지
의 위치와 일대일로 대응하며, 큐 2에는 용접이음 방향을 따라 로봇 툴측 TCP 지점의
내지
의 위치가 포함되고, 로봇 암에 대한 상기 제어 방식에 따라, 회전 조인트 또는 공간 좌표 이동 방식으로, 로봇 암 툴측 TCP 지점의 인접한 순차적 위치 지점사이에 보간을 수행하여, 로봇 암이 중간 궤적 지점으로 부드럽게 이동함으로써 원하는 위치와 포즈를 확보함;
(2) 제2 레지스터 큐 생성
(a) 먼저, 로봇에 대해 이 용접이음과 관련한 티칭 프로그래밍을 수행하고, 로봇 툴측 TCP 지점이 용접이음의 중심선에서 계속 이동하도록 함으로써 정상적인 용접 속도에서 실행될 때 비교적 안정적인 로봇 툴측 TCP 궤적 프로그램을 얻을 수 있음;
(b) 비전 센서의 위치와 포즈가 정확하게 고정된 기본 가정하에 "제1 레지스터 큐” 방법에 따라 용접이음 특징점 시퀀스를 추출하고 용접이음 방향을 따라 비전 센서의 위치 지점 시퀀스를 결정하고, 후자를
로 표시하며, 동시에 용접이음 방향을 따라 로봇 툴측 TCP 지점의
위치를 기록하는 경우, 로봇 툴측 TCP 지점에 대한 위치 보정과 후속 용접이음 특징점에 대한 추적 작업을 수행하지 않음;
로봇이 W회의 상기 시운전을 수행하고, 비전 센서의 위치 지점에서 로봇 베이스의 좌표계와 비교하여 용접이음 특징점의 좌표 시퀀스를 다음과 같이 표시함;

상기 기초 하에 비전 센서의 위치 지점에 대응하는 용접이음 특징점의 좌표를 최적으로 추정하여 편차가 큰 용접이음 특징점의 좌표를 배제함으로써 로봇 시운전의 용접이음 특징점 궤적을 로봇 툴측 TCP 지점 추적에 필요한 기준값으로 하며 상기 기준값은 다음과 같이 표시함;

는
에 대응;
시운전으로부터 얻은 용접이음 특징점의 좌표를 참조하여, 로봇 툴측 TCP 지점은 이탈 지점의 잘못된 유도를 피하고, 발산에 의한 편차를 보정함으로써 용접이음 중심선을 따라 올바르게 이동함;
(c) 상기 단계에 따라, 시운전으로부터 얻은 용접이음 특징점의 위치를 기대되는 로봇 툴측 TCP 자동 추적 제어 전략으로 두 개의 큐, 즉 용접이음 특징점과 일대일로 대응하는 비전 센서 위치 지점 큐와 로봇 툴측 TCP 지점에 의한 추적 과정에서 용접이음 방향에 따라 놓인 위치 지점 큐를 형성하며, 여기에서 큐 1은 용접이음 특징점
내지
, 여러 번의 시운전으로부터 얻은 참조 용접이음 특징점
내지
를 포함하고, 이는 용접이음 방향에 따라 비전 센서의
내지
의 위치 및 시운전 중
내지
의 위치와 일대일로 대응하며, 큐 2에는 용접이음 방향을 따라 로봇 툴측 TCP 지점의
내지
의 위치가 포함되고 로봇 암에 대한 상기 제어 방식에 따라, 회전 조인트 또는 공간 좌표 이동 방식으로, 로봇 암 툴측 TCP 지점의 인접한 순차적 위치 지점 사이에 보간을 수행하여, 로봇 암이 중간 궤적 지점으로 부드럽게 이동함으로써 원하는 위치와 포즈를 확보하는 것을 특징으로 하는 제5항에 따른 상기 용접이음 위치 검측 방법을 이용한 안정적인 용접이음 추적 알고리즘.