KR20040064106A

KR20040064106A - 자율주행 용접로봇을 위한 센서 시스템 및 환경 모델링 방법

Info

Publication number: KR20040064106A
Application number: KR1020030001386A
Authority: KR
Inventors: 김재훈; 박영준; 조형석
Original assignee: 삼성중공업 주식회사
Priority date: 2003-01-09
Filing date: 2003-01-09
Publication date: 2004-07-16
Also published as: KR100516395B1

Abstract

본 발명은 자율주행 용접로봇을 위한 센서 시스템 및 환경 모델링 방법에 관한 것으로, 특히 선박의 폐쇄블록 용접환경을 인식하고 용접선을 검출하며, 레이저 띠를 이용하여 로봇의 환경 모델링을 구현할 수 있도록 한 센서 시스템 및 환경 모델링 방법에 관한 것이다. 본 발명에 따른 자율주행 용접로봇을 위한 센서 시스템은 폐쇄블록내의 용접선을 추적하기 위한 용접로봇의 센서 시스템에 있어서, 특정 객체로 레이저 슬릿광을 주사하는 적어도 하나 이상의 레이저 다이오드와, 상기 레이저 슬릿광이 주사된 특정 객체의 영상을 획득하는 카메라를 포함하며, 상기 카메라에 의해 획득된 영상으로부터 용접환경을 인식하는 것을 특징으로 한다.

Description

자율주행 용접로봇을 위한 센서 시스템 및 환경 모델링 방법{VISUAL SENSOR SYSTEM AND ENVIRONMENT MODELING METHOD FOR AUTONOMOUS MOBILE WELDING ROBOTS}

본 발명은 자율주행 용접로봇을 위한 센서 시스템 및 환경 모델링 방법에 관한 것으로, 특히 선박의 폐쇄블록 용접환경을 인식하고 용접선을 검출하며, 레이저 띠를 이용하여 로봇의 환경 모델링을 구현할 수 있도록 한 센서 시스템 및 환경 모델링 방법에 관한 것이다.

로봇 응용 기술과 공정 제어 기술의 발달은 선박 건조 공정에서의 자동화를 급속도로 진행시키고 있다. 높은 인건비와 작업자가 겪게 되는 열악한 작업환경문제를 해결하고, 생산량 증대와 품질 향상을 위해 선박 건조 공정에서의 용접 공정의 자동화는 필수이다. 선박 건조에 있어서 용접 공정 자동화의 역할은 로봇기술을 이용한 생산 자동화 라인에서 선박 구조물의 중간 조립체를 제작하는 것이다. 중간 조립체 제작 공정은 향후에 선박의 외벽을 구성하게 되는 철판재로 이루어진 구조물의 용접 공정으로서, 첫 번째 단계인 개방 블록 용접(open block welding)과 두번째 단계인 폐쇄 블록 용접(colsed block welding)으로 구분된다. 용접 자동화에 대한 필요성의 증대와 함께 다수의 연구자들이 이 분야의 로봇 용접에 대해 연구를 수행해 오고 있다. 개방 블록 용접의 경우, 대형 XYZ 위치 결정기구와 다축 로봇으로 구성되는 갠트리형(Gantry type) 용접 로봇 시스템과 소형 이동 로봇으로 다축 용접 로봇을 이송시키는 형태의 이동 용접 로봇 시스템이 현재 개발되어 실제 현장에 적용되고 있다. 개방 블록의 용접은 용접 구조물의 상판이 없기 때문에, 갠트리형 로봇의 접근이나 소형 이동 로봇의 투입이 상대적으로 쉽다. 하지만, 기 개발된 로봇 시스템은 자율성이 없어 CAD 정보에 대한 실제 환경의 변화에 전혀 적응하지 못하며 잘 정리되고 단순한 작업에 한하여 적용이 되고 있다. 더구나, 이러한 개방 블록 용접의 자동화 현황에 비하여 폐쇄 블록 용접에 대한 연구와 개발은 상대적으로 부족한 상황이다. 폐쇄 블록 용접의 경우, 특히 작업 환경이 협소한 밀폐 공간이므로 해로운 용접 가스와 어두운 작업환경 때문에 작업자가 작업을 수행하기에 많은 어려움을 겪고 있다. 최근 이러한 요구에 부응하여 폐쇄형 블록 용접 공정의 자동화에 대한 연구가 선박 선진국인 덴마크, 스페인, 일본 등을 중심으로 진행되고 있다.

도 1은 종래의 선박 중간조립공정의 폐쇄블록내부와 이동로봇의 주행경로를 나타내는 도면이다.

도시된 바와 같이, 하나의 폐쇄블록은 플로어(Floor : 1)와 Girder(2)로 불리는 대형 철판재가 양쪽 벽면, 그리고 베이스 판넬(Base panel : 3)이 바닥과 천장을 구성하는 공간이다. 내부는 론지(Longi : 4)라 불리는 가로막들에 의해 다시길고 폭이 좁은 사각 공간으로 나뉘어져 있고, 여러 목적을 위한 파이프 라인(Pipe Line : 5)들이 설치되어 있다. 이러한 블록은 플로어 홀(Floor Hole : 6)이나 Girder Hole(7)로 서로 연결되어 있으며 수동 용접 작업동안 작업자는 이구멍을 통하여 작업 공간을 드나들게 된다. 작업 환경이 플로어(1)와 Girder(2)로 거의 밀폐된 공간이므로 용접 작업동안 발생하는 용접 연기를 배출하는 것이 쉽지 않으며 작업자의 원활한 작업이 가능하도록 환풍기가 별도 설치된다. 폐쇄 블록내에서의 수작업 용접이 로봇 용접으로 자동화 될 때 가능한 이동 로봇의 작업 경로 예가 그림에 도시되어 있다. 로봇용접(8)은 주행 경로상에 있는 론지(4)를 건너갈 수 있는 기능이 필수적이다. 한 블록 내에서 작업을 마치고 난후, 로봇용접(8)은 플로어 홀(6)을 통해 다음 블록으로 이동하게 된다. 로봇용접(8)이 주행하는 폐쇄 블록의 환경은 대부분 판재 구조물로 이루어진 평면 조합 환경이다. 이러한 환경하에서 로봇용접(8)이 구조물을 가로질러 주행을 하고 장애물을 피해 작업공간에 접근하고 작업 공간내에서 정확한 용접선을 찾아내어 용접을 수행한다는 것은 고도의 기술이 필요한 작업이다. 로봇용접(8)은 최종 용접 작업 지점에 도착하기 위해 주행 경로상이나 용접을 위한 로봇 팔의 경로상에 있는 장애물을 인식하고 회피할 수 있는 능력을 가지고 있어야만 한다. 이를 위해, 로봇용접(8)이 용접선과 작업 환경을 인식할 수 있도록 광 삼각법의 원리를 기초로 레이저 구조광(structured light)을 이용하는 센서 시스템이 개발되어 오고 있다.

따라서, 본 발명의 목적은 선박의 폐쇄블록 용접환경을 인식하고 용접선을검출하며, 레이저 띠를 이용하여 로봇의 환경 모델링을 구현함으로써 폐쇄 블록 용접시 용접 가스와 어두운 작업환경으로 인해 작업자가 겪어야만 했던 많은 어려움을 극복할 수 있는 자율주행 용접로봇을 위한 센서 시스템 및 환경 모델링 방법을 제공함에 있다.

도 1은 종래의 선박 중간조립공정의 폐쇄블록내부와 이동로봇의 주행경로를 나타내는 도면.

도 2는 본 발명의 실시예에 의한 폐쇄블록 용접로봇 시스템의 사시도.

도 3은 도 2의 센서 시스템의 개념도.

도 4는 도 2의 센서 시스템의 구성도.

도 5는 본 발명의 실시예에 의한 선분중심 추출을 위한 신경망 구조를 나타내는 도면.

도 6은 작업 공간에 주사된 레이저 띠의 카메라 획득 영상을 부분 확대한 도면.

도 7은 하나의 입력 영상에 대해 레이저가 일정한 두께를 가진다고 가정하는 일반적인 방법에 의해 추출한 레이저 중심을 나타내는 도면.

도 8은 본 발명의 실시예에 의한 신경회로망에 의해 적응적으로 레이저 두께를 추정하는 기법에 의한 레이저 중심의 추출결과를 보여주는 도면.

도 9는 본 발명의 실시예에 의한 센서 시스템의 연기에 대한 강인성을 보여주는 도면.

도 10은 본 발명의 실시예에 의한 센서 시스템의 보정 개념도.

도 11은 도 10의 XZ 평면상에서의 해상도 해석을 나타내는 도면.

도 12는 도 10의 YZ 평면상에서의 해상도 해석을 나타내는 도면.

도 13은 본 발명의 실시예에 의한 환경모델링 알고리즘 구조를 나타내는 흐름도.

도 14는 도 13의 평면인식모듈에 의한 평면의 재구성을 나타내는 도면.

도 15는 본 발명의 실시예에 의한 평면 인식 기법의 유용성을 알아보기 위한 실험에서 사용된 표적 물체를 나타내는 도면.

도 16은 도 15에서 θ=45??인 경우의 YZ 평면상에서 추정된 데이터와 실제값의 비교를 나타내는 도면.

도 17은 본 발명의 실시예에 의한 3차원 환경 모델을 위한 육면체 셀을 나타내는 도면.

도 18은 본 발명의 실시예에 의한 두 개의 레이저 스트립을 이용한 작업 공간 내부에서의 평면 인식 개념을 나타내는 도면.

도 19는 본 발명의 실시예에 의한 로봇 좌표계와 전체 좌표계의 변환 관계를 위해 평면을 정합하는 개념도를 나타내는 도면.

도 20은 본 발명의 실시예에 의한 옆 벽면에 있는 장애물을 검출하는 개념을 나타내는 도면.

도 21은 본 발명의 실시예에 의한 스캐닝 작업환경을 나타내는 도면.

도 22는 도 21의 작업환경을 중거리 영역에서 스캐닝한 경우의 도면.

도 23은 도 21의 작업환경을 근거리 영역에서 스캐닝한 경우의 도면.

< 도면의 주요부분에 대한 부호 설명>

10 : 다축 용접 로봇 20 : 주행 플랫폼

30 : 센서 시스템 33,34,35 : 다이오드 레이저

31,32 : 소형 카메라 36,37 : 레이저 슬릿광

A : 실린더 B : 큐빅

상기 목적을 달성하기 위한 본 발명의 자율주행 용접로봇을 위한 센서 시스템은 폐쇄블록내의 용접선을 추적하기 위한 용접로봇의 센서 시스템에 있어서, 특정 객체로 레이저 슬릿광을 주사하는 적어도 하나 이상의 레이저 다이오드와, 상기 레이저 슬릿광이 주사된 특정 객체의 영상을 획득하는 카메라를 포함하며, 상기 카메라에 의해 획득된 영상으로부터 용접환경을 인식한다.

이하, 본 발명의 바람직한 실시예를 첨부된 도면을 참조하여 상세히 설명한다.

도 2는 본 발명의 실시예에 의한 폐쇄블록 용접로봇 시스템의 사시도이다.

도시된 바와 같이, 용접로봇 시스템은 크게 실제 용접 작업을 수행하는 다축 용접 로봇(10)과 상기 용접 로봇(10)을 원하는 위치로 이동시켜 주는 역할을 하는 주행 플랫폼(20), 그리고 작업환경과 용접선을 인식하기 위한 센서 시스템(30)으로 구성된다.

상기 주행 플랫폼(20)은 용접 로봇이 정해진 지역내에서 용접 작업을 마쳤을 때, 다른 용접 지역으로 자유롭게 이동하기 위해 Longi를 타고 넘을 수 있는 매카니즘을 가지고 있다. 따라서, 상기 용접 로봇(10)은 두 Longi 사이에 형성되는 작업공간 내에서 자유롭게 주행할 수 있을 뿐만 아니라, Longi들로 가로 막혀 있는 폐쇄 블록내의 전체 주행 공간에서도 승강 기구를 통한 자유로운 이동이 가능하다.

상기와 같이 구성되는 본 발명의 로봇 시스템에 의한 두 Longi 사이의 작업 공간에서 용접로봇의 작업 순서는 다음과 같다.

먼저, 작업 공간내에서의 용접 환경을 인식하는 과정과, 획득된 3차원 환경지도와 주어진 CAD 데이터의 정합을 통해 로봇 위치 및 자세를 파악하는 과정과, 작업 공간내에서의 장애물 정보를 추출하여 인식하는 과정과, 용접이 수행되어야 할 용접선을 검출하는 과정과, 용접을 위한 용접 로봇 팔의 경로를 계획하는 과정과, 용접을 수행하는 과정으로 이루어진다.

상기와 같은 용접 작업이 성공적으로 끝났을 때, 상기 주행 플랫폼(20)은 정해진 용접 스케줄에 따라 다음 작업 공간인 건너편 Longi 사이로 상기 용접 로봇(10)을 위치하게 한다.

도 3은 도 2의 센서 시스템의 개념도이고, 도 4는 센서 시스템의 구성도이다.

도시된 바와 같이, 전체 센서 시스템은 슬릿광을 발생시키는 세 개의 다이오드 레이저(33,34,35)와 영상을 획득하는 두 개의 소형 카메라(31,32)로 구성된다. 이와 같이 구성되는 본 발명의 센서 시스템은 로봇이 주행하는 환경을 인식하고 용접 작업을 할 때 용접선을 인식하기 위한 것이다.

상기 소형 카메라(31)와 다이오드 레이저(33,34)는 환경인식을 위해 사용되고, 상기 소형 카메라(32)와 상기 다이오드 레이저(35)는 용접선 추적을 위해 사용된다. 두 개의 레이저 슬릿광은 평면으로 구성된 구조화 환경을 보다 쉽게 인식하기 위해 적용된다.

도 5는 본 발명의 실시예에 의한 선분중심 추출을 위한 신경망 구조를 나타내는 도면이다.

도시된 바와 같이, 신경회로망은 다층 퍼셉트론(multi-layer perceptron)이며, 입력층, 2개의 은닉층, 그리고 출력층으로 구성된다.

상기 입력층은 35개의 퍼셉트론으로 구성되며 상기 은닉층은 각각 20개와 10개의 퍼셉트론, 그리고 상기 출력층은 1개의 퍼셉트론을 가진다.

신경 회로망의 입력은 수직방향 탐색창 A의 중심위치인 영상좌표(u, v)와 수직방향 탐색창내의 영상 밝기 값들이 사용되고, 신경망의 출력은 탐색 창 내에 있는 레이저 스트립의 분포도(P_{line_enter})이다. 신경 회로망 마스크의 중심위치가 레이저 스트립의 중심에 놓여 있을 때, 이 분포도는 1에 가까운 최대치를 나타낸다. 신경망의 학습과정동안 영상에서의 레이저 스트립의 수직방향 광 분포와 레이저 띠의 중심에 일치하는 탐색 창의 중심 영상 좌표가 레이저의 두께 학습을 위해 주어진다. 학습 과정 후에, 신경 회로망을 이용한 신호 필터는 스트립의 분포도를 추정하여 레이저 스트립의 중심점을 계산할 수 있으며, 이를 영상의 횡방향으로 각각 수행하면 영상에서 레이저 스트립의 중심선을 추출할 수 있다. 레이저 띠가 영상의 열방향과 거의 평행하기 때문에 신경망 필터는 영상의 행방향으로 작동한다. 다층 신경 회로망의 가중치(weight) 학습을 위해 Modified back propagation 방법의 하나인 delta-bar-delta 학습방법이 사용된다.

w_ji(n)을 학습 순서 n 번째에서 신경노드 i와 노드 j를 연결하는 가중치라 하고, 이때 η_ji(n)를 해당하는 가중치의 학습률이라 하면, 가변하는 학습률 계수의 갱신 법칙은 다음의 수학식 1로 정의된다.

여기서, D_ji(n)과 S_ji(n)은 다음으로 각각 정의된다.

여기서, ξ는 양의 값인 상수이고, κ와 β는 학습률의 제어 변수이다. 그리고 E(n)은 오차의 합으로 정의되는 가격함수이다.

여기서 y_j(n)는 신경 노드 j의 출력이며, 그리고 d_j(n)는 이때의 희망 출력치이다. 신경노드 ji의 가중치를 갱신시키는 법칙은 다음의 수학식 2와 같다.

도 6 내지 8은 도 5의 신경 회로망에 기초한 공간필터를 이용하여 레이저의 두께가 변화하는 입력 영상에서 레이저의 중심을 추출한 결과 영상을 나타내는 도면이다.

도 6은 작업 공간에 주사된 레이저 띠의 카메라 획득 영상을 부분 확대한 것이고, 도 7은 하나의 입력 영상에 대해 레이저가 일정한 두께를 가진다고 가정하는 일반적인 방법에 의해 추출한 레이저 중심을 나타내며, 도 8은 제안된 신경회로망에 의해 적응적으로 레이저 두께를 추정하는 기법에 의한 레이저 중심의 추출결과를 보여준다.

이와 같이, 획득영상에서의 레이저 두께 변화에 대해 제안된 방법이 일반적으로 사용되는 방법보다 강인한 결과를 보인다는 것을 알 수 있다.

도 9는 본 발명의 실시예에 의한 센서 시스템의 연기에 대한 강인성을 보여주는 실험에 의한 도면으로, 영상은 삼각뿔의 물체에 레이저를 주사하여 얻어졌으며, 인공 연기를 발생시켜 제안한 기법의 한계를 알아보았다. 공기의 투과도가 낮아질수록 레이저의 중심 추출이 어려워지는 것을 알 수 있다. 여러 번의 실험 결과 45% 미만의 투과도에 대해서는 추출결과에 연기의 유동에 의한 노이즈가 많이 생기는 것을 관찰할 수 있었다. 반면에 45% 이상의 투과도에 대해서는 중심 추출 결과가 1 픽셀 이내로 수렴한다.

도 10은 본 발명의 실시예에 의한 센서 시스템의 보정 개념도이다.

도시된 바와 같이, 고정 좌표계인 OXYZ는 전체 좌표계를 나타내고, 2차원 좌표계인 uv는 영상평면에서의 영상픽셀 좌표계를 나타낸다. 그리고, X'Y'은 영상중심 좌표계이다. 영상에서 레이저 스트립의 2차원 좌표값인 (u,v)로부터 레이저 스트립이 투사되는 3차원 공간의 좌표값(x,y,z)을 계산하기 위한 전체 좌표계와 영상픽셀 좌표계를 연관시키는 변환 행렬 M(4 ×3 행렬)은 다음의 수학식 3과 같다.

여기서, s는 동차 변환(homogeneous transform)의 비례축소인자(scaling factor)이고, M은 역 원근 변환(inverse perspective transform)행렬이다.

상기 변환 행렬은 알고 있는 치수의 정교하게 가공된 블록 게이지에 투사되는 레이저 스트립의 위치정보와 획득된 영상 상에서의 특징점을 관찰함으로써, 카메라와 레이저 스트립 투사기의 보정 과정 동안에 획득할 수 있다.

도 11은 도 10의 XZ 평면상에서의 해상도 해석을 나타내고, 도 12는 YZ 평면상에서의 해상도 해석을 나타내는 도면이다.

도시된 바와 같이, L_X와 L_y1는 각각 최대측정거리 T에서의 수평방향, 수직방향 최대 FOV(Field Of View)를 나타낸다. T는 Z 방향으로의 최대 측정 거리를 의미한다. 분리각 θ는 카메라와 레이저 스트립이 이루는 변에 대해 스트립이 기울어진 정도를 나타내며, f는 카메라 렌즈의 초점 거리이다. 이때, 전체 좌표계의 Z축은 카메라의 광축과 일치한다고 가정한다. D는 카메라와 다이오드 레이저 사이의 Base line의 길이이다. α와 β는 각각 XZ와 YZ 투사 평면에 대한 카메라의 화각을 의미한다. 거리 z에서, a와 b는 각각 영상 평면에서 한 픽셀이 차지하는 수평방향과 수직방향의 길이이다. 3차원 공간상에서 점 P(x,y,z)의 영상평면으로의 투사점을 P'(x',y')이라 하고, 선분 OP'과 z축 사이의 각도를 XZ와 YZ 투사평면에서 각각 φ와 ψ로 정의한다. M_x2는 광축으로부터 X 방향으로의 최대 측정 거리이고, M_x1은 최소 측정 거리이다. 이와 같은 관계로부터 광 삼각법에 근거한 센서 시스템의 각 축에 대한 센서 해상도는 다음의 수학식 4와 같다.

여기서, l_u와 l_v는 각각 CCD 소자의 수평, 수직 방향 픽셀 수이다. 그리고, L_Y1과 L_Y2는 X 방향으로의 최대측정거리인 M_X2와 최소측정거리인 M_X1에서 Y 방향으로의 측정 범위를 나타낸다. 이미지 소자의 픽셀당 실제 치수를 나타내는 유효 픽셀 크기는 다음의 수학식 5와 같이 표현된다.

여기서, l_x'과 l_y'는 이미지 소자의 수평 수직 방향 실제 길이를 각각 나타낸다.

다음의 표 1은 환경인식 센서의 분해능 해석 결과를 보여주는 것으로 단위는 [㎜]이다.

Sensor part 1 (Camera A and Laser A₁)
Distance	R_Z	R_X	R_Y
300	0.6	0.2	0.2
500	1.7	0.4	0.3
700	3.4	0.8	0.5
900	5.6	1.4	0.6
1100	8.4	2.1	0.8
Sensor part 2 (Camera A and Laser A₂)
Distance	R_Z	R_X	R_Y
300	0.6	0.1	0.2
500	1.7	0.3	0.3
700	3.4	0.7	0.5
900	5.6	1.1	0.6
1100	8.4	1.6	0.8
1300	11.7	2.3	0.9
1500	15.8	3.1	1.0
1700	20.2	3.9	1.2
1900	25.5	4.9	1.3

도 13은 본 발명의 실시예에 의한 환경모델링 알고리즘 구조를 나타내는 흐름도이고, 도 14는 도 13의 평면인식모듈에 의한 평면의 재구성을 나타내는 도면이며, 도 15는 본 발명의 실시예에 의한 평면 인식 기법의 유용성을 알아보기 위한 실험에서 사용된 표적 물체를 나타내는 도면이고, 도 16은 도 15에서 θ=45??인 경우의 YZ 평면상에서 추정된 데이터와 실제값의 비교를 나타내는 도면이며, 도 17은 가상환경에서 재구성된 표적물체를 나타내는 도면이다.

도 13에 도시된 바와 같이, 효율성을 위해 두 개의 모듈로 구분된다. 첫 번째는 하나의 레이저띠를 이용하는 일반적인 3차원 레이저 스캐닝 모듈이며, 둘째는 두 개의 레이저 띠를 사용하는 3차원 Hough 변환 기반의 평면인식모듈이다.

평면 환경의 재구성 기법은 로봇이 Longi 사이의 작업 공간에서 로봇의 위치를 결정하기 위해 사용된다. 즉, 환경을 이루는 주요한 4 평면을 두 개의 레이저 스트립을 이용하여 측정하고 평면을 재구성함으로써, 로봇 좌표계를 중심으로 주요 평면이 위치하고 있는 정보를 얻게 되고, 이를 최종적으로 CAD 좌표계를 중심으로 이 평면들이 위치하고 있는 정보와 비교함으로써, CAD 좌표계와 로봇 좌표계간의 좌표 변환관계를 유도할 수 있다. 이 변환관계가 유도되면, 이때부터 사용하게 되는 레이저 스캐닝 기법을 통한 환경 구성은 동일한 좌표계인 전체 좌표계에서 표현이 가능하게 된다.

먼저, 첫 번째 모듈인 스캐닝 모듈을 설명하면 다음과 같다.

하나의 레이저를 이용한 레이저의 스캐닝 기법은 3차원 형상의 추출 및 모델링을 위해 널리 사용되는 방법이다. 이 방식은 센서를 고정된 좌표축을 따라 일정한 거리로 연속 이송시키거나, 고정된 회전축을 중심으로 센서를 일정 각도로 연속 회전시키면서 측정을 수행함으로써, 환경에 대한 세밀한 정보를 추출하는 기법이다. 현재의 센서 시스템이 센서 좌표계에서 Y축으로 주사가 되므로, 센서의 스캐닝 방향은 센서 좌표계의 X축을 따라서 이송하거나, Y축에 대한 pitch 회전을 이용하여 스캐닝 하는 것이 적합하다. 환경에 대한 거리 정보의 밀도는 스캐닝의 간격과 환경에 대한 센서의 상대 거리에 의존한다.

일반적으로 3차원 공간상에서의 직선은 다음의 식으로 표현된다.

여기서,는 직선의 위치 벡터이고,는 직선의 방향 벡터이다.

입력 영상에서, 레이저 띠가 만드는 직선 성분들은 Hough 변환 방법에 의해 쉽게 추출될 수 있다. 이를 이용하여 획득된 2차원 영상 평면에서의 직선 방정식을 기반으로 영상 좌표계와 전체 좌표계의 변환 관계를 나타내는 수학식 3을 이용하면 영상 좌표계에서의 한 직선이 3차원 공간상의 한 직선으로 상호 변환이 가능하다. 이를 통해, 각 레이저 스트립이 평면에 주사되어 얻어진 3차원 직선을 각각 L₁과 L₂라 하면 상기 수학식 6으로부터 이 직선들은 다음의 벡터 형식의 식으로 나타낼 수 있다.

여기서,과는 각각 직선 L₁과 L₂의 방향 벡터를 나타내며,과는 각 직선의 위치 벡터이다.

일반적으로, 3차원 공간상에서의 평면의 방정식은 다음의 벡터 형식의 식으로 표현된다.

여기서,는 해당 평면의 수직 벡터이고, d는 원점으로부터 평면까지의 수직거리를 나타낸다. 직선 L₁과 L₂가 평면 P₁에 놓여 있는 경우에 두 직선의 방향 벡터들인과의 크로스 프로덕트(cross product)는 평면 P₁의 수직 벡터를 만든다.

상기 수학식 9로부터 얻어진 수직 벡터를 상기 수학식 8에 대입하여 수직 거리 d의 값을 구할 수 있다.

도 15에 도시된 바와 같이, 평면의 굽힘각도 θ를 변화시켜 가면서, 두 개의 레이저 스트립을 이용한 평면생성기법이 테스트 된다. 중간 평면은 센서로부터 거리가 1000㎜에 위치된다.

도 16에 도시된 바와 같이, 실험결과는 각 변수에 대한 최대 오차율이 ±2% 내에 머문다는 것을 보여준다. 해당 오차는 크게 카메라의 영상 왜곡 오차, 레이저 센서의 보정 오차 등에 기인한다. 추정치와 실제치와이 최대 거리 오차는 약 7㎜이다.

다음의 표 2는 상기 도 16에 따른 평면 재구성 실험 결과를 나타낸다.

θ		k₁	k₂	k₃	d(m)
22.5˚	Real	0.000	-0.923	-0.382	0.382
22.5˚	Measure	0.003	-0.921	-0.395	0.375
45˚	Real	0.000	-0.707	-0.707	0.707
45˚	Measure	-0.002	-0.713	-0.705	0.709
67.5˚	Real	0.000	-0.382	-0.923	0.923
67.5˚	Measure	0.002	-0.368	-0.921	0.928

도 17은 본 발명의 실시예에 의한 3차원 환경 모델을 위한 육면체 셀을 나타내는 도면이다.

도시된 바와 같이, 3차원 환경의 표현을 위해 전체 공간을 100 ×100 ×100 크기의 Cubic cell로 나눈다. 하나의 Cubic cell(voxel)은 10 ×10 ×10㎜ 의 부피를 가지도록 정의되며, 전체 3차원 환경은 1 ×1 ×1m 의 공간에 구성되어진다. 일반적으로 선박 폐쇄 블록 조립공정에서 Longi와 Longi 사이의 폭은 650~1000㎜ 로 한정된다. 그리고, 이러한 Cubic cell을 이용한 환경 표현은 구분한 지역중 중거리와 근거리 영역의 환경 스캐닝 결과를 표현하는데 사용되므로 로봇암의 길이를 고려할 때 1 ×1 ×1m 의 공간은 환경 스캐닝 데이터의 표현에 적합하다.

장거리 지역에서 이동 로봇의 작업은 크게 다음의 세가지 세부 작업으로 구분된다.

먼저, 용접 지역으로의 진입을 위해 바닥면에 부착된 장애물의 유무 확인 및 정보 추출을 하는 제1 작업과정과, 평면 인식센서와 3차원 Hough 변환을 이용한 평면 추출을 하는 제2 작업과정과, CAD가 정의된 전체 좌표계와 로봇 좌표계의 좌표 정합을 통해 로봇의 위치를 파악하는 제3 작업과정으로 구분된다.

상기 바닥면에 부착된 장애물의 정보를 추출하기 위해 하나의 레이저 스트립을 이용한 3차원 스캐닝 기법이 적용되어진다. 이를 이용하여 로봇이 진입할 수 있는 공간이라 판단되면 상기 제2 작업과정에서 환경을 구성하는 두 개의 Longi와 Floor 그리고 바닥면을 두 개의 레이저 스트립에 의한 평면 인식 기법을 사용하여 인식한 다음 인식된 평면 정보를 이용하여 전체 좌표계에 대한 로봇의 위치를 알아낸다.

도 18은 본 발명의 실시예에 의한 두 개의 레이저 스트립을 이용한 작업 공간 내부에서의 평면 인식 개념을 나타내는 도면이다.

도시된 바와 같이, 두 개의 레이저 스트립이 평면에 투사되었을 때 영상에서 관측된 스트립의 3차원 직선 방정식으로부터 평면에 대한 정보를 얻을 수 있다. 상기 제3 작업과정에서는 CAD 좌표계와 로봇 좌표계간의 정합 작업이 로봇 위치 인식을 위해 이루어진다. 인식된 평면을 CAD에서 주어지는 평면 정보와 정합을 수행함으로써 얻어진다. 본 발명에서 사용된 방법은 최소 자승 오차 기법이다.

도 19는 본 발명의 실시예에 의한 로봇 좌표계와 전체 좌표계의 변환 관계를 위해 평면을 정합하는 개념도를 나타내는 도면이다.

도시된 바와 같이, 획득된 로봇 좌표계와 전체 좌표계의 좌표 변환 행렬을 이용하여 로봇 좌표계를 중심으로 측정된 환경 데이터가 전체 좌표계로 모두 변환 될 수 있으며, 여러 지역에서 측정된 데이터가 전체 좌표계에서 동시에 표현이 가능하게 된다.

그리고, 중거리 영역에서 수행되는 작업은 네 개의 세부 작업으로 구분된다.

이동 로봇의 진입을 위한 양 벽면(Longi)에 부착된 장애물을 인식하는 제1 작업과정과, 레이저 슬릿광을 이용한 작업 영역을 스캐닝하는 제2 작업과정과, 획득된 데이터의 CAD 데이터와의 비교를 하는 제3 작업과정과, 장애물 인식과 로봇암의 충돌 검증을 하는 제4 작업과정으로 구분된다.

그리고, 근거리 영역에서 수행되는 작업은 중거리 영역에서 정의된 대략적인 장애물의 존재 영역에 대한 상세 스캐닝이다. 로봇이 원거리 영역에서 중거리 영역으로 접근하기 위해 첫째로 로봇이 진입하는 옆 벽면에 장애물의 유무가 판단되어야 한다. 중거리와 근거리 영역과 연관된 작업을 수행하기 위해 알고리즘 모듈 중 스캐닝 모듈이 사용되어진다.

도 20은 본 발명의 실시예에 의한 옆 벽면에 있는 장애물을 검출하는 개념을 나타내는 도면이다.

도시된 바와 같이, 벽면에 30 ×50 ×120㎜의 장애물(C)이 부착되었으며, 실험결과로 장애물(C)의 검출이 쉽게 이루어지고 스캐닝 결과와 CAD 데이터를 비교함으로써 존재하는 장애물(C)의 크기를 알아낼 수 있다.

도 21은 본 발명의 실시예에 의한 스캐닝 작업환경을 나타내는 도면이고, 도 22는 도 21의 작업환경을 중거리 영역에서 스캐닝한 경우의 도면이며, 도 23은 도 21의 작업환경을 근거리 영역에서 스캐닝한 경우의 도면이다.

도시된 바와 같이, 중거리 영역과 근거리 영역에서 각각 원기둥(A)과 정육면체(B)로 구성된 환경으로부터 얻어진 측정치를 복셀(voxel)로 표현한 결과를 보여준다.

그 결과를 살펴보면, 중거리 영역의 측정 결과에 비해 근거리 영역에서의 측정결과가 보다 세밀하게 측정된 것을 알 수 있다. 정육면체(B)의 경우, 실제 길이는 210㎜이며, 복셀 모델링 결과로 직선 근사화를 시킨 결과는 한변이 210.7㎜로 얻어졌다. 원기둥(A)의 경우, 실제 반지름은 100㎜이며 복셀 모델링 결과로 원 근사화를 시킨 결과 반지름이 100.4㎜로 얻어졌다. 이 오차는 복셀 모델의 분해능을 10㎜로 제한한 것과 센서 측정오차 및 로봇 매니퓰레이터의 위치 오차에 의해 기인한다. 획득된 측정 결과를 이용하여 장애물 추출과 장애물의 모델링을 수행하면 보다 정확한 장애물의 위치와 크기 및 모양을 파악할 수 있게 된다.

이러한 측정에서 발생하는 오차는 앞서 언급한 여러 가지 요인중에서 복셀 모델의 분해능에 가장 큰 영향을 받는다. 로봇의 오차나 센서의 오차가 이보다 훨씬 정밀하기 때문이다. 이러한 복셀 모델링을 바탕으로 얻어지는 환경 정보는 작업 영역에 도달하기 위한 로봇의 경로 계획에 사용된다. 일단 로봇이 작업 영역에 도달하게 되면 용접선 추적은 용접선 추적 센서를 통해 수행되게 된다. 작업영역 도달을 위한 로봇의 공간 경로는 물체가 가지는 최소 크기 및 해상도인 10㎜의 불확실성을 기반으로 구현된다. 즉, 환경인식에서 발생되는 결과 오차는 사전 분석을 통하여 로봇 경로 생성에 있어서 안전영역으로 고려대상이 되어야 한다.

한편 본 발명의 상세한 설명에서는 구체적인 실시예에 관해 설명하였으나, 본 발명의 범위에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능함은 물론이다. 그러므로 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니되며 후술하는 특허청구의 범위뿐만 아니라 이 특허청구의 범위와 균등한 것들에 의해 정해져야 한다.

상술한 바와 같이, 자율적으로 주행 가능한 용접 로봇을 이용하여 선박의 폐쇄블록 용접환경을 인식하고 용접선을 검출하며, 레이저 띠를 이용하여 로봇의 환경 모델링을 구현함으로써, 폐쇄 블록의 수작업 용접시 용접 가스와 어두운 작업환경으로 인해 작업자가 겪어야만 했던 많은 어려움을 극복할 수 있는 효과가 있다.

Claims

폐쇄블록내의 용접선을 추적하기 위한 용접로봇의 센서 시스템에 있어서,

특정 객체로 레이저 슬릿광을 주사하는 적어도 하나 이상의 레이저 다이오드; 및

상기 레이저 슬릿광이 주사된 특정 객체의 영상을 획득하는 카메라를 포함하며, 상기 카메라에 의해 획득된 영상으로부터 용접환경을 인식하는 것을 특징으로 하는 자율주행 용접로봇을 위한 센서 시스템.
제 1 항에 있어서,

상기 카메라에 의해 획득된 영상에 존재하는 레이저 띠의 분포와 중심을 학습하여 중심선을 추출하여 분리하기 위한 신경망 필터를 구비함을 특징으로 하는 자율주행 용접로봇을 위한 센서 시스템.
제 2 항에 있어서, 상기 신경망 필터는

입력층과, 은닉층 및 출력층으로 구성되는 다층 퍼셉트론 구조임을 특징으로 하는 자율주행 용접로봇을 위한 센서 시스템.
폐쇄블록내의 로봇의 위치를 결정하기 위한 환경 모델링 방법에 있어서,

두 개의 레이저 스트립이 하나의 평면에 투사되는 과정과,

상기 평면에 투사된 두 개의 직선 성분이 후크(hough) 변환에 의해 추출되는 과정과,

상기 두 개의 직선 성분이 각각 3차원 변환행렬에 의해 3차원 직선으로 변환되는 과정과,

상기 3차원 직선의 평면 방정식에 의해 3차원 평면이 생성되는 과정으로 이루어지는 것을 특징으로 하는 자율주행 용접로봇을 위한 환경 모델링 방법.
제 4 항에 있어서,

상기 3차원 평면이 생성되는 과정에서 평면의 굽힘각도는 22.5˚임을 특징으로 하는 자율주행 용접로봇을 위한 환경 모델링 방법.
제 4 항에 있어서,

상기 3차원 평면이 생성되는 과정에서 평면의 굽힘각도는 45˚임을 특징으로 하는 자율주행 용접로봇을 위한 환경 모델링 방법.
제 4 항에 있어서,

상기 3차원 평면이 생성되는 과정에서 평면의 굽힘각도는 67.5˚임을 특징으로 하는 자율주행 용접로봇을 위한 환경 모델링 방법.