KR100677762B1 - 곡주판 레이져 비젼 장치 및 그 구현 방법 - Google Patents

Abstract

본 발명은 CCD 카메라, 레이져 다이오드, 광학 밴드패스 필터, 스패터 보호유리를 포함하여 구성되며, 용접 모션 제어기로부터 트리거 신호가 입력되는 순간 영상을 캡쳐하기 위한 영상처리 모듈, 곡주판 용접선 검출 및 추적, 주판 사이의 갭, 부재의 두께, 곡면의 기울기, 부재와 용접 캐리지 사이의 높이 값을 검출한 뒤 프로젝션 행렬과의 연산을 통해 특성치를 계산하는 계산 모듈, 트리거에 의해 연속적으로 처리된 결과값들에 대한 오차와 오검출에 의한 영향을 줄이기 위한 필터링 모듈 및 모션 제어기와 통신하기 위한 통신 모듈을 포함하는 곡주판 레이져 비젼 시스템을 제공할 수 있다.

곡주판

Description

곡주판 레이져 비젼 장치 및 그 구현 방법{Machine vision apparatus and method for automatic data gathering do hull forming process}

도 1은 본 발명의 사상에 따른 곡주판 레이져 비젼 시스템의 일 실시예를 도시한 도면.

도 2는 본 발명의 사상에 따른 영상 처리 알고리즘을 표현한 플로우차트.

도 3은 본 발명의 사상에 따른 레이져 센터를 찾기 위한 플로우 차트.

도 4내지 도 6은 본 발명의 사상에 따른 특성치를 계산하기 위한 도면.

<도면의 주요 부분에 대한 부호의 설명>

101: 곡주판 레이져 비젼 시스템 102: 회전 토치

103: 위빙 토치

본 발명은 곡주판 레이져 비젼 시스템 및 그 구현 방법에 관한 것이다.

현재 조선산업에 있어, 선체 외판 제작을 위한 곡가공 공정은 필수적이다. 크게 선박은 프레스를 이용한 냉간 가공과 가스 토치를 이용한 열간 가공을 통해서 제조되는데, 특히 숙련된 기능공의 작업 경험에 의해 전적으로 의존하는 열간 가공 공정에 대한 자동화 요구가 증대되어 국내외적으로 많은 연구가 진행되고 있지만, 아직까지도 명확하게 규명되거나 완전한 자동화를 이루지는 못하고 있다.

이처럼 곡가공 작업 공정이 거의 대부분 수작업으로 이루어지고 있는 현재의 상황에서 자동화를 위한 첫걸음은 반드시 현장 작업자의 경험을 지식화하는데 있다. 하지만, 현장에는 너무나 다양한 조건들, 예를 들어 가스 토치의 산소량, 프로판가스에 대한 물성치, 부재 형상, 두께, 사이즈, 냉각방식 등이 존재하고, 또한 작업자 들마다 능률 또한 달라서 정형화된 방법이 부재한 실정이다.

특히, 용접 기술은 작업자에 의해 크게 달라지므로 수동 용접은 반복성과 일관성이 낮은 편이다. 이 중에서도 버트용접의 비율이 높은 조선이나 교량 등의 분야에서 수동 용접은 빈번하게 이루어진다.

특히, 용접 공정의 총 코스트 절감의 관점에서 단척 내지 장척의 편면 용접의 고속화가 이루어져야 한다. 그러나 용접 공정의 자동화는 작업하기 좋은 조건인 직선 평판으로 국한되며, 곡주판의 경우 자동화가 이루어 지지 못하고 있다. 보다 상세히, 상기 곡주판의 경우 편면용접을 이용하여 용접부재의 두께에 따라 거의 대부분 여러번의 수작업으로 용접이 이루어지고 있어 이에 대한 용접 자동화가 필수적인 상황이지만 기존의 접촉식 센서로는 3차원 용접선 형상 검출의 어려움과 용접 화염으로 인한 노이즈로 인해 정확한 용접선 추적이 어려운 실정이다.

따라서 생산성 및 비용의 개선과 고품질의 용접을 보장하기 위해 용접의 자동화는 필수적이다. 이를 위한 용접선 추적 센서로 최근 접촉식이 아닌 비접촉식 센서인 레이져를 이용한 비젼 시스템이 사용되고 있다. 하지만, 영상 잡음 등에 의 한 용접 환경에서의 취약성 때문에 제대로 활용되지 않고 있다.

따라서, 용접의 자동화를 이루기 위해서는 곡가공 작업 공정중 가장 중요한 데이터로 인식되는 가스 토치에 의한 가열 위치와 가열 속도, 부재의 형상, 및 이동 궤적에 대한 데이터를 수집할 수 있는 현장 데이터 수집 시스템이 필요하다.

상기 문제점을 해결하기 위한 본 발명은 곡주판 편면 용접(2전극)을 위한 용접선 추적센서로 비접촉식 레이져 비젼 센서를 이용하여 용접면의 3차원 형상정보는 물론 곡주판 사이에 벌여져 있는 갭(Gap), 부재 두께, 용접할 면과 센서의 앞단 사이의 거리(Z), 용접부재에 대한 3차원 기울기 등을 실시간, 실차원(mm) 값을 제시하는 것을 목적으로 한다.

또한, 본 발명은 곡주판에서의 용접부재의 형상을 인식하여 용접 시작과 종료시점을 자동 검출하여 모션 제어기로 하여금 용접 작업의 스케줄 관리에 도움을 주는 것을 목적으로 한다.

또한, 본 발명은 용접작업의 시작 위치와 종료 위치를 레이져 띠의 형상 정보로부터 자동 인식하는 기능을 구현하고, 자체 시스템에 의하여 계산된 여러 데이터들에 대해 신뢰성 있는 데이터를 제공하기 위해 평균 필터와 칼만 필터를 이용한 Robust 필터 기법을 구현하는 것을 목적으로 한다.

상기 목적을 달성하기 위한 본 발명의 일측면에 따르면, CCD 카메라, 레이져 다이오드, 광학 밴드패스 필터, 스패터 보호유리를 포함하여 구성되며, 용접 모션 제어기로부터 트리거 신호가 입력되는 순간 영상을 캡쳐하기 위한 영상처리 모듈, 곡주판 용접선 검출 및 추적, 주판 사이의 갭, 부재의 두께, 곡면의 기울기, 부재와 용접 캐리지 사이의 높이 값을 검출한 뒤 프로젝션 행렬과의 연산을 통해 특성치를 계산하는 계산 모듈, 트리거에 의해 연속적으로 처리된 결과값들에 대한 오차와 오검출에 의한 영향을 줄이기 위한 필터링 모듈 및 모션 제어기와 통신하기 위한 통신 모듈을 포함하는 곡주판 레이져 비젼 시스템을 제공할 수 있다.

여기서, 상기 CCD 카메라와 레이져 다이오드는 10도 내지 50도의 분리각을 갖는 것을 특징으로 한다. 또한, 상기 용접 모션 제어기로부터 트리거 신호가 입력되는 순간 캡쳐되는 영상의 해상도는 640*480로 설정되는 것을 특징으로 한다.

본 발명의 다른 측면에 따르면, 용접 모션 제어기에서 트리거 신호를 발생시키면 영상 제어기에서 영상을 캡쳐하는 단계, 상기 캡쳐된 원 영상을 255의 임계값으로 이진화 처리하는 단계, 레이져 센터를 계산하는 단계, 최대 갭 위치점에서 레이저 메인 라인에 수선으로 내린 점과의 거리 값을 계산하므로써 용접 모재의 두께를 계산하는 단계, 용접모재 사이의 갭 정보를 계산하는 단계, 레이저 메인 라인의 기울기값을 계산하고, 접합 중심 위치점과 상기 접합 중심 위치점의 높이값을 계산하는 단계, 위치값들의 픽셀 단위를 실차원인 mm 단위로 변환하는 실차원 변환 처리 단계 및 트리거에 의해 연속적으로 처리된 결과값들에 대한 오차와 오검출에 의한 영향을 줄이기 위한 데이터 필터링 단계를 포함하는 곡주판 레이져 비젼 시스 템 구현 방법을 제공할 수 있다.

한편, 상기 레이져 센터를 계산하는 단계는 영상의 좌측부터 중심 픽셀까지 스캔해 가면서 수직방향으로 소정 두께를 갖는 대상을 찾아 기억하는 단계와, 상기 기억된 대상의 수직위치로부터 +,- 방향으로 10픽셀만큼 스캔 영역을 재설정하여 수평 방향으로 마지막 수평 스캔 위치까지 레이져 센터를 찾아내는 단계를 포함하는 제 1단계와, 영상의 우측부터 중심 픽셀까지 스캔해 가면서 상기 제 1단계에서 수행한 방법을 반복 수행하여 레이져 센터를 찾는 제 2 단계를 포함하는 것을 특징으로 한다.

또한, 상기 레이져 메인 라인의 기울기 값은

식을 이용하여 계산하는 것을 특징으로 한다. 또한, 최대 갭 위치점에서 레이저 메인 라인에 수선으로 내린 점과의 거리 값은

식을 이용하여 계산하는 것을 특징으로 한다.

본 발명을 통해 곡주판 편면 용접선 정보(용접선 데이터, 갭정보, 부재 두께, 용접선 진행방향에 대한 용접면의 횡방향 기울기, 용접면 높이)의 검출이 가능하며, 용접선이 레이져 비전 시스템의 진행방향과 3차원(ROLL, PITCH, YAW)적으로 기울어져 있어도 용접선 정보를 검출할 수 있다. 또한, 용접의 시작과 종료시점에 대한 레이져 형상을 이용하여 용접작업의 스케줄링에 도움을 줄 수 있다. 또한 평 균 필터와 칼만 필터를 통하여 데이터를 처리함으로써 신뢰성있는 데이터를 제공할 수 있다. 또한, 트리거 모드와 시스템 타이머에 의한 오프라인 모드가 있어 외부 트리거 없이도 영상 처리 알고리즘의 자동 처리 기능이 구현되는 효과가 있다.

이하, 첨부된 도면을 참조하여 본 발명에 따른 실시 예를 상세히 설명한다. 본 발명은 이하 제시되는 실시예에 한정되지 않으며 본 발명이 속하는 기술분야에서 통상의 지식을 가진자에게 자명한 범위 내에서 구성요소의 부가, 한정, 삭제, 추가 등에 의하여 동일 범위의 발명이 제시 될 수 있을 것이다.

도 1은 본 발명의 사상에 따른 곡주판 레이져 비젼 시스템의 일 실시예를 도시한 도면이다.

도 1을 참조하면, 상기 곡주판 레이져 비젼 시스템은 곡주판 편면 용접을 위한 2 전극 용접 캐리지에 적용 가능하다. 보다 상세히, 본 발명 시스템(101)은 상기 도 1에 도시된 바와 같이 레이져 다이오드와 CCD 카메라로 구성된 레이져 비젼 시스템(101)이 용접선 관련 정보를 제공하기 위해 용접 진행 방향의 선단에 장착되고, 그 뒤에 회전 토치(102)와 위빙 토치(103)가 레일로 이동되는 캐리지 상에 형성된다.

상기 본 발명은 CCD 카메라와 레이져 다이오드, 광학 밴드패스 필터, 스패터 보호 유리로 구성되며 상기 CCD 카메라와 레이져 다이오드는 25도의 분리각을 갖는다. 또한, 영상의 해상도는 640*480로 설정된다. 영상 캡쳐 작동은 트리거 모드에 의해 이루어진다.

본 발명은 종래 주로 사용되던 곡주판 편면 용접 자동화 기술인 접촉식 용접선 추적센서를 사용하지 않고, 비접촉 방식으로 곡주판의 3차원 곡면에서 용접선을 추적(Seam Tracking)은 물론 주판사이에 벌여져 있는 갭(Gap), 부재 두께, 용접할 면과 센서의 앞단 사이의 거리(Z), 용접부재에 대한 3차원 기울기 등을 실시간 처리하는 레이져 비젼 시스템(Laser Vision System)을 제공한다. 상기 레이져 비젼 시스템 알고리즘을 이용하여 곡주판 용접 모션 제어기(이하 모션제어기)에서 발생된 트리거 시그널(Trigger Signal)을 레이져 비젼 시스템 제어기에 전송하고, 한장의 영상을 캡쳐하여 곡주판 용접선 검출 및 추적은 물론 주판 사이의 갭(Gap), 부재 두께, 곡면 기울기(형상), 부재와 용접 캐리지 사이의 높이 값들을 검출한 뒤 이전에 수행한 캘리브레이션의 결과인 프로젝션 행렬(Projection Matrix)과의 연산을 통해 특성 치들을 계산한다. 상기 모션 제어기와의 통신은 RS-232C 통신으로 계산된 특성치들이 트리거 입력 신호에 따라 전달되는 방식을 사용한다.

도 2는 본 발명의 사상에 따른 영상 처리 알고리즘을 표현한 플로우차트이다.

도 2를 참조하면, 본 발명은 크게 전처리 모듈(영상처리 모듈)과 후처리(계산 및 필터링 모듈)로 구성되며 트리거 신호에 의해 매 프레임 시퀀스가 처리된다. 상기 전처리 모듈과 후처리 모듈에서 이루어지는 과정은 아래와 같다.

용접 모션 제어기(201)에서 트리거 신호를 발생시키면 영상 제어기는 트리거 모드가 되어 영상 한 장을 캡쳐하게 된다(S202). 캡쳐 한 원 영상은 하기 수학식 1과 같이 255 의 임계값으로 이진화 처리가 이루어 지게 된다(S203).

여기서, T = 255

상기 서술한 바와 같이 곡주판 용접 모션 제어기(이하 모션 제어기)에서 발생된 트리거 신호(Trigger Signal)를 레이져 비젼 시스템 제어기에 전송하고 한 장의 영상을 캡쳐하여 곡주판 용접선 검출 및 추적은 물론 주판 사이의 갭, 부재의 두께 곡면 기울기(형상), 부재와 용접 캐리지 사이의 높이 값 등이 실시간 계산되어 RS-232C 통신으로 용접 모션제어기에 전달되고 후행으로 따라오게 되는 회전토치와 위빙토치가 전송된 정보를 따라 용접하게 되는 방식이다.

도 3은 본 발명의 사상에 따른 레이져 센터를 찾기 위한 플로우 차트이다.

도 3을 참조하면, 레이져 센터(Laser Center)는 크게 2단계로 나뉘어 검색된다(S302). 1 단계는 영상의 좌측(0 pixel)부터 중심 픽셀(320 pixel)까지 스캔하면서 수직방향으로 레이져의 일정두께(약 7 pixel)를 갖는 대상을 찾고(S304), 기억하게 된다(S305). 기억된 수직위치의 +,- 방향으로 10 픽셀만큼 스캔영역을 재설정하여(S306), 수평방향으로 마지막 수평스캔 위치까지 레이져 센터를 찾아내게 된다 (S307). 2 단계에서도 마찬가지로 우측(640pixel)부터 중심 픽셀(320 pixel)로 탐색하여(S302), 상기 1 단계에서 수행한 방법으로 레이져 센터를 찾게 된다(S304). 여기서, 영상의 좌우 방향에서부터 검색하는 이유는 용접시 Spatter와 Fume에 의한 영상 노이즈로 인하여 영상의 좌우측 부근이 중심 부근보다 노이즈가 적게 나타나기 때문이다.

도 4를 참조하면, 용접 부재의 두께는 최대 갭 위치점(403)에서 점(404)과 점(405)을 잇는 선분에 내린 수직선의 길이로부터 수학식 2를 이용하여 계산할 수 있다. 상기 도 3에 도시된 알고리즘을 이용하여 레이져 센터를 찾은 뒤 두개의 홈 포인트(Groove Point)(404,405)를 찾기 위해 레이져의 왼쪽 끝 점(402)과 오른쪽 끝점(401)을 하기 수학식 2를 이용하여 계산한다.

이후 레이저 메인 라인(Laser-Main-Line)을 검출하고 상기 라인과 이전에 검출한 레이져 센터 사이에 최대 거리값을 갖는 최대 갭 포인트(Gap Point)(403)를 검색한다. 여기서, 상기 갭 포인트(403)는 부재 두께에 해당하는 값으로 일정 범위(15< 범위(픽셀)<50)로 제한을 둔다. 먼저, 점(404)은 레이저의 왼쪽 끝점(402)과 최대 갭 포인트(403)를 연결한 라인 정보를 상기 수학식 2를 이용하여 계산하고 이 라인으로부터 레이져 센터까지 수직거리가 가장 큰 위치점으로부터 찾을 수 있다. 마찬가지로 점(405)도 최대 갭 위치점(403)에서 레이저의 오른쪽 끝점(401)을 연결한 선에서 레이져 센터까지의 수직거리가 가장 큰 위치점으로부터 검출 될 수 있다. 용접 모재의 두께를 계산하기 위해 최대 갭 위치점(403)에서 레이저 메인 라인에 수선으로 내린 점과의 거리 값을 수학식 3을 이용하여 계산하여 구할 수 있다.

용접 모재 사이의 갭 정보는 두 개로 이루어진 점(406)과 점(407)사이의 거리값이 됨을 알 수 있다. 먼저, 점(406)의 경우, 이전에 검출했던 점(404)에서 최대 갭 포인트(403)와 연결한 라인으로부터 레이져 센터 사이에 거리값이 최대인 위치점을 구할 수 있고, 마찬가지로 점(407)은, 점(405)에서 최대 갭 포인트(403)와 연결한 라인상에서 레이져 센터와의 거리가 최대인 위치로부터 찾을 수 있다.

도 6을 참조하면, 도 2에서의 특성치 계산을 할 수 있다(S208). 상기 수학식 2를 이용하여 레이저 메인 라인의 기울기 값(601)을 계산하고, 수학식 3을 이용하여 접합 중심(Seam Center) 위치점(605)을 계산하며, 앞에서 계산되었던 접합 중심 위치점의 높이값(부재면과 센서사이의 거리값)(604)도 마찬가지로 수학식 2의 거리 계산식으로 계산될 수 있다.

상기 도 2의 실차원 변환 처리 단계(S209)는 이전의 위치 값들의 픽셀 단위 값을 mm단위로 바꿔주는 처리로서, 변환값은 수학식 4에서의 카메라 캘리브레이션 과정에 의한 결과값인 3*4의 프로젝션 행렬(Projection Matrix)과의 계산으로 구해 진다. 여기서, 레이져 라인의 기울기(601), 갭 데이터(602), 용접 모재의 두께(603), 용접선 데이터(605), 용접면 사이와 레이져 비젼 시스템 앞단까지의 높이(604)등이 mm 단위 값으로 계산된다.

상기 도 2의 데이터 필터링 단계(S210)는 트리거에 의해 연속적으로 처리된 결과값들에 대한 오차와 오검출로 인한 영향을 줄여 데이터의 신뢰도를 확보하기 위해 수학식 5와 같이 표현되는 평균 필터(Mean Filter)와 수학식 6으로 표현되는 확률동적 추정기법인 칼만 필터(Kalman Filter)를 적용하였다.

카메라 캘리브레이션 :

Mean-Filter :

Kalman-Filter :

도 5를 참조하면, 시작 및 종료시점에서의 용접선 레이져 띠는 평평한 모재 이므로 일직선 형태(502)로 나타나게 되고, 대부분의 편면 용접 작업시에는 (501)과 같은 형상으로 나타나게 되어 레이져 띠 형상의 인식으로 용접 시작과 종료시점을 자동 감지하여 모션 제어기로 하여금 용접 작업의 스케줄 관리에 도움을 주도록 한다. 본 발명 시스템 프로그램의 레이아웃은 도 6과 같으며 카메라 캘리브레이션 작업은 물론 외부 트리거 없이도 시스템 타이머를 이용한 자동 테스트 기능도 구현된다.

본 발명을 통해 곡주판 편면 용접선 정보(용접선 데이터, 갭정보, 부재 두께, 용접선 진행방향에 대한 용접면의 횡방향 기울기, 용접면 높이)의 검출이 가능하며, 용접선이 레이져 비전 시스템의 진행방향과 3차원(ROLL, PITCH, YAW)적으로 기울어져 있어도 용접선 정보를 검출할 수 있다. 또한, 용접의 시작과 종료시점에 대한 레이져 형상을 이용하여 용접작업의 스케줄링에 도움을 줄 수 있다. 또한 평균 필터와 칼만 필터를 통하여 데이터를 처리함으로써 신뢰성있는 데이터를 제공할 수 있다. 또한, 트리거 모드와 시스템 타이머에 의한 오프라인 모드가 있어 외부 트리거 없이도 영상 처리 알고리즘의 자동 처리 기능이 구현되는 효과가 있다.

Claims (7)

1. CCD 카메라, 레이져 다이오드, 광학 밴드패스 필터, 스패터 보호유리를 포함하여 구성되며, 용접 모션 제어기로부터 트리거 신호가 입력되는 순간 영상을 캡쳐하기 위한 영상처리 모듈;

   곡주판 용접선 검출 및 추적, 주판 사이의 갭, 부재의 두께, 곡면의 기울기, 부재와 용접 캐리지 사이의 높이 값을 검출한 뒤 프로젝션 행렬과의 연산을 통해 특성치를 계산하는 계산 모듈;

   트리거에 의해 연속적으로 처리된 결과값들에 대한 오차와 오검출에 의한 영향을 줄이기 위한 필터링 모듈; 및

   모션 제어기와 통신하기 위한 통신 모듈;

   을 포함하는 곡주판 레이져 비젼 장치.
2. 제 1항에 있어서,

   상기 CCD 카메라와 상기 레이져 다이오드는 10도 내지 50도의 분리각을 갖는 것을 특징으로 하는 곡주판 레이져 비젼 장치.
3. 삭제
4. 용접 모션 제어기에서 트리거 신호를 발생시키면 영상 제어기에서 영상을 캡쳐하는 단계;

   상기 캡쳐된 원 영상을 255의 임계값으로 이진화 처리하는 단계;

   레이져 센터를 계산하는 단계;

   최대 갭 위치점에서 레이저 메인 라인에 수선으로 내린 점과의 거리 값을 계산하므로써 용접 모재의 두께를 계산하는 단계;

   용접모재 사이의 갭 정보를 계산하는 단계;

   레이저 메인 라인의 기울기값을 계산하고, 접합 중심 위치점과 상기 접합 중심 위치점의 높이값을 계산하는 단계;

   위치값들의 픽셀 단위를 실차원인 mm 단위로 변환하는 실차원 변환 처리 단계; 및

   트리거에 의해 연속적으로 처리된 결과값들에 대한 오차와 오검출에 의한 영향을 줄이기 위한 데이터 필터링 단계;

   를 포함하는 곡주판 레이져 비젼 시스템 구현 방법.
5. 제 4항에 있어서,

   상기 레이져 센터를 계산하는 단계는

   영상의 좌측부터 중심 픽셀까지 스캔해 가면서 수직방향으로 소정 두께를 갖는 대상을 찾아 기억하는 단계와, 상기 기억된 대상의 수직위치로부터 +,- 방향으로 10픽셀만큼 스캔 영역을 재설정하여 수평 방향으로 마지막 수평 스캔 위치까지 레이져 센터를 찾아내는 단계를 포함하는 제 1단계와,

   영상의 우측부터 중심 픽셀까지 스캔해 가면서 상기 제 1단계에서 수행한 방법을 반복 수행하여 레이져 센터를 찾는 제 2 단계를 포함하는 것을 특징으로 하는 곡주판 레이져 비젼 시스템 구현 방법.
6. 제 4항에 있어서,

   상기 레이져 메인 라인의 기울기 값은

   

   

   

   식을 이용하여 계산하는 것을 특징으로 하는 곡주판 레이져 비젼 시스템 구현 방법.
7. 삭제

Images