KR101637977B1

KR101637977B1 - 레이저 비전 시스템을 이용한 용접 조인트의 특징점 검출 방법

Info

Publication number: KR101637977B1
Application number: KR1020100097860A
Authority: KR
Inventors: 김병만; 민지호; 김재형
Original assignee: 대우조선해양 주식회사
Priority date: 2010-10-07
Filing date: 2010-10-07
Publication date: 2016-07-08
Also published as: KR20120036145A

Abstract

본 발명은 레이저 비전 시스템을 이용한 용접 조인트의 특징점 검출 방법에 관한 것으로서, 레이저 비전 시스템을 통해 획득한 용접 대상물의 영상을 이진화하는 과정과; 상기 이진화한 영상에 에지 추출 알고리즘을 적용하여 특징점이 발생할 수 있는 후보점들을 검출하는 과정과; 상기 검출한 후보점들의 중심을 검출하는 과정과; 상기 검출한 후보점들의 중심으로 주변부 이진화 영상을 비교하여 후보점들이 특징점인지의 여부를 결정하는 과정을 포함하여 이루어진 것을 특징으로 한다. 본 발명에 따르면, 레이저 비전 시스템에서 측정한 용접 조인트 영상에서 용접 조인트의 특징점을 검출할 때 사용자의 추가적인 설정없이 자동으로 용접 조인트의 특징점을 검출할 수가 있으며 스패터나 반사광 등의 노이즈가 있는 영상에서도 특징점을 추가적인 연산없이 검출할 수가 있다.

Description

레이저 비전 시스템을 이용한 용접 조인트의 특징점 검출 방법{FEATURE POINT DETECTING METHOD OF WELDING JOINT USING LASER VISION SYSTEM}

본 발명은 용접 조인트의 특징점 검출 방법에 관한 것으로서, 특히 레이저 비전 시스템을 이용하여 검출된 용접 대상물의 영상으로부터 용접 조인트의 특징점을 검출하는 방법에 관한 것이다.

레이저 비전 시스템은 측정 대상물의 표면이나 기하학적인 형상을 측정하는 센서 시스템이다. 용접에서 많이 사용되는 로봇 용접용 레이저 비전 시스템의 경우 용접용 로봇의 토치 앞부분에 장착하여 용접 대상물의 형상을 측정하여 로봇이나 용접조건을 제어하는데 사용된다. 일반적으로 용접 대상물의 특징점(FEATURE POINT)은 측정 대상물의 불연속 면이 된다.

일반적으로 특징점은 2차원으로 나타나는 영상에 있어서 선의 시작점이나 끝점, 또는 선들이 만나는 점, 꼭지점과 같이 선이 꺾이는 부분과 같이 전체 영상의 특징이 될 수 있는 점들을 의미한다. 레이저 비전 시스템을 이용한 용접 비드를 검출하는 경우에 구조화된 레이저 선(structured laser line)을 이용하므로 평판에 레이저를 조사할 경우 영상은 직선의 영상이 얻어지게 되고, 용접 조인트를 측정하는 경우에는 용접 조인트의 형상에 따라서 하나의 선이 꺾여진 형태로 나타나게 된다.

일반적으로 용접에 있어서 특징점이라고 하면 이렇게 꺾여진 점들을 가르킨다. 이를 레이저 비전 시스템을 이용하여 측정하면 연속적인 선에 꺾이는 선으로 나타나고 이 불연속 점을 추출하여 카메라 캘리브레이션을 이용하여 3차원 좌표로 좌표변환을 하면 측정부의 불연속 점의 3차원 좌표를 알 수 있다.

한편, 종래에는 이를 측정하기 위해서 영상처리를 통해서 세선(細線)을 얻은 후에 2차 회귀모델을 이용하여 직선의 방정식을 얻는 방법이나 특정한 점에서 거리를 측정하여 가장 거리가 멀거나 가까운 점을 특징점으로 결정하는 방식들을 사용하고 있다. 그렇지만, 일반적으로 영상에 스패터나 반사광 등과 같은 노이즈가 없는 경우에는 상기와 같은 다양한 방법으로 비드의 특징점을 추출하는 것이 가능하지만, 노이즈가 있을 경우에는 이러한 방법들은 노이즈의 영향으로 비드 영상에서 특징점을 정확하게 추출하기가 어려운 문제점이 있다.

이에 본 발명은 상기와 같은 문제점을 해결하기 위한 것으로서, 노이즈가 발생하더라도 하나의 과정을 통해서 특징점을 검출할 수 있는 방법 즉, 용접 중 스패터나 반사광 등의 노이즈가 있는 경우더라도 이진화된 영상으로부터 임의의 사용자 설정 없이 용접 조인트의 특징점을 검출할 수 있도록 된 레이저 비전 시스템을 이용한 용접 조인트의 특징점 검출 방법을 제공하는데 그 목적이 있다.

상기와 같은 목적을 달성하기 위하여 본 발명에 따른 레이저 비전 시스템을 이용한 용접 조인트의 특징점 검출 방법은, 레이저 비전 시스템을 통해 획득한 용접 대상물의 영상을 이진화하는 과정과; 상기 이진화한 영상에 에지 추출 알고리즘을 적용하여 특징점이 발생할 수 있는 후보점들을 검출하는 과정과; 상기 검출한 후보점들의 중심을 검출하는 과정과; 상기 검출한 후보점들의 중심으로 주변부 이진화 영상을 비교하여 후보점들이 특징점인지의 여부를 결정하는 과정을 포함하여 이루어진 것을 특징으로 한다.

여기에서, 상기 특징점은 에지 추출 알고리즘에 의해 검출된 점들이고, 특징점이 발생할 수 있는 후보점들은 에지 추출 알고리즘에 의해 검출된 점들 중에서 일정한 밝기값 이상을 갖는 점들일 수 있다.

또한, 상기 특징점인지의 여부를 결정하는 과정은 주변부 이진화 영상을 비교하여 주변부 화이트 화소와 화소간 관계를 비교한 후에 특징점 여부를 결정할 수가 있다.

또한, 상기 이진화하는 과정은 영상이 0과 255의 값만 갖도록 이진화하고, 상기 특징점인지의 여부를 결정하는 과정은 검출한 후보점들의 중심으로 한 변의 길이가 일정 화소 이상인 정사각형을 그려 정사각형의 면과 백색 점들이 만나는 횟수를 계산하여 특징점 여부를 결정할 수가 있다. 이때, 만나는 횟수가 2회일 때 특징점으로 결정할 수가 있다.

본 발명에 따르면, 레이저 비전 시스템에서 측정한 용접 조인트 영상에서 용접 조인트의 특징점을 검출할 때 사용자의 추가적인 설정없이 자동으로 용접 조인트의 특징점을 검출할 수가 있으며 스패터나 반사광 등의 노이즈가 있는 영상에서도 특징점을 추가적인 연산없이 검출할 수가 있다.

도 1은 본 발명에 따른 레이저 비전 시스템을 이용한 용접 조인트의 특징점 검출 방법을 보여주는 흐름도.
도 2는 레이저 비전 시스템을 이용하여 용접 조인트를 측정하는 상태를 보여주는 개념도.
도 3은 용접 조인트의 측정 영상의 예.
도 4는 용접 조인트의 측정 영상의 특징점의 예.
도 5는 용접 조인트의 측정 영상의 예.
도 6은 해리스 코너 추출 결과의 영상의 예.
도 7은 도 6의 영상을 이진화한 결과의 영상의 예.
도 8은 이진화로 얻어진 점으로부터 특징점 후보점들의 선 교차 수를 보여주는 영상의 예.
도 9는 용접 조인트 영상에 노이즈가 포함된 영상의 예.
도 10은 영상 해리스 코너 추출 결과의 영상의 예.
도 11은 도 10의 영상을 이진화한 결과의 영상의 예.
도 12는 가까운 점들끼리 분류를 통해 얻어진 특징점 후보점들의 영상의 예.
도 13은 도 9의 영상의 이진화 영상과 특징점 후보점들에서 정사각형을 그려 교차한 횟수를 보여주는 영상의 예.

이하, 첨부된 도면을 참조하여 본 발명을 상세히 설명하기로 한다.

도 1은 본 발명에 따른 레이저 비전 시스템을 이용한 용접 조인트의 특징점 검출 방법을 보여주는 흐름도이다.

본 발명에 따른 레이저 비전 시스템을 이용한 용접 조인트의 특징점 검출 방법은, 레이저 비전 시스템을 이용하여 검출된 용접 대상물의 영상으로부터 특징점을 검출하는 방법이다.

먼저, 레이저 광원부와 카메라부를 구비한 레이저 비전 시스템을 통해 용접 대상물의 영상을 획득한 후 획득한 용접 대상물의 영상을 이진화한다(S110),(S120). 이진화하는 과정은 구체적으로 다음과 같다. 일반적으로 용접 조인트를 레이저 비전 시스템을 이용하여 측정하면, 영상의 밝기값이 0부터 255까지의 값으로 출력되는 8비트 카메라인 경우에 레이저가 조사된 부분은 255에 가까운 밝은 값이 얻어지고 조사되지 않는 영역은 0에 가까운 어두운 값으로 영상이 취득된다. 이 영상을 영상이 0과 255의 값만 갖도록 이진화를 수행한다. 기준되는 영상 밝기값의 문턱값(threshold value)보다 작은 값은 0이 되고 더 큰 값은 255로 영상을 두 가지 값만을 같은 영상으로 변환시키는 것이다.

계속해서, 상기 이진화한 영상에 해리스 코너(Harris corner) 추출 알고리즘 즉, 에지 추출 알고리즘을 적용하여 특징점이 발생할 수 있는 후보점들을 검출한 후 검출한 후보점들의 중심을 검출한다(S130),(S140). 여기에서, 상기 특징점은 에지 추출 알고리즘에 의해 검출된 점들을 의미하고, 특징점이 발생할 수 있는 후보점들은 에지 추출 알고리즘에 의해 검출된 점들 중에서 일정한 밝기값(intensity) 이상을 갖는 점들을 의미한다.

상기 해리스 코너를 추출하는 알고리즘은 다음과 같다. 이진화된 영상에 에지 추출 알고리즘으로 널리 쓰이는 소벨 연산(Sobel Operation)을 이용하여 에지 (edge)를 추출하는데 이 과정은 각각 가로 방향과 세로 방향 추출 행렬을 이진화한 영상에 각각 컨벌루션(convolution) 하여 각각의 연산 결과를 저장한다. 이를 각각 I _x ,I _y 라고 한다. 그 다음으로 상기 얻어진 I _x , I _y 를 이용하여 특징점이 될 수 있는 후보점들을 추출하기 위하여 다음과 같은 연산을 수행한다. I _xx 는 I _x 의 행렬의 각 요소들을 제곱하여 얻어진 행렬이고 I _yy 는 I _y 행렬의 각 요소들을 제곱하여 얻어진 행렬이고 I _xy 는 I _x 와 I _y 의 행렬을 서로 곱하여 얻어진 행렬이라고 할 때, 각각 얻어진 I _xx , I _xy , I _xy 행렬을 2D 가우시안(Gaussian Filter) 필터를 통과시킨다. 이를 각각 I _Gxx , I _Gxy , I _Gxy 라고 한다. 이렇게 얻어진 각각의 행렬에서 최종적으로 다음과 같은 최종 행렬을 구한다. I _result =(I _Gxx ^T I _Gyy -I _Gxy ^T I _Gxy )/(I _Gxx +I _Gyy ). 이 연산을 통해서 얻어진 영상과 같은 크기를 갖는 2D 행렬의 값들은 각각 특징점 후보점이 될 수 있는 확률을 나타내는데, 이 값이 크면 클수록 확률이 높게 된다. 이 연산을 통해서 얻어진 행렬은 영상과 같이 0과 255 사이의 값을 갖는 행렬이 아니므로 이 행렬값이 0부터 255 사이의 값을 갖도록 값을 변환시켜주면 새로운 영상이 얻어진다. 이 값을 다시 적절한 문턱값(threshold value)으로 이진화를 수행한다. 이진화 결과 0으로 나타나는 화소들은 특징점이 아닌 점들을 나타내고 255로 나타나는 화소들은 특징점들이 될 수 있는 점들이다.

상기 검출한 후보점들의 중심을 검출하는 과정은 다음과 같다. 상기에서 수행한 해리스 코너 연산과 이진화를 통해서 얻어진 영상은 단일한 점들이 아니므로 가까운 점들끼리 분류를 한다. 이를 위해서 화소의 밝기값이 255인 점들을 가까운 점들끼리 분류하고 같이 분류된 점들의 중심점을 구한다. 이 점들이 최종적으로 얻어지는 특징점이 될 수 있는 후보점들이다.

마지막으로, 상기 검출한 후보점들의 중심으로 주변부 이진화 영상을 비교하여 후보점들이 특징점인지의 여부를 결정한다(S150)(S160). 이때, 주변부 이진화 영상을 비교하여 주변부 화이트 화소와 화소간 관계를 비교한 후에 특징점 여부를 결정할 수가 있다. 상기 특징점인지의 여부를 결정하는 과정은 검출한 후보점들의 중심으로 한 변의 길이가 일정 화소 이상인 정사각형을 그려 정사각형의 면과 백색 점들이 만나는 횟수를 계산하여 특징점 여부를 결정할 수가 있다. 이때, 만나는 횟수가 2회일 때 특징점으로 결정할 수가 있다.

부연하자면, 후보점들의 중심으로부터 한변의 길이가 10 화소인 정사각형을 따라가면서 상기 레이저 비전 시스템에서 취득한 영상을 이진화한 영상의 밝기값을 비교한다. 정사각형의 변을 따라 레이저 비전 시스템에서 취득한 영상의 밝기값이 바뀌는 횟수가 2회인 점은 찾고자 하는 특징점이 되고 바뀌는 횟수가 홀수이거나 4이상인 점들은 특징점이 아니다.

[실시예]

도 2는 레이저 비전 시스템을 이용한 용접 조인트의 측정 방법으로서, 레이저 비전 시스템(1)의 선 레이저(2)가 용접부 즉, 용접 조인트(3)를 조사하고 이를 레이저 비전 시스템(1)의 내부에 있는 카메라가 영상을 취득한다. 도 3은 이렇게 얻어진 용접 조인트의 영상의 한 예이다. 구조화된 레이저에 의해서 영상에는 횡방향의 선이 그려지고 조인트의 형상에 따라서 꺾이는 점들이 다르게 발생하는데, 용접 조인트의 특징점이라고 하면 이렇게 레이저선이 용접 조인트의 형상에 의해서 꺾이는 점들을 의미한다.

도 4에서는 이를 예시적으로 보여주고 있는데, 도 4의 (a)는 레이저 비전 시스템을 평면에 수평방향으로 놓고 취득한 영상이다. 이 영상에서는 특징점이 없다. (b)에서는 레이저 선에서 꺾이는 점이 1개가 존재하고 이 점1이 용접 조인트의 특징점이 된다. (c)에서는 꺾이는 점이 3개가 되고 마찬가지로 특징점이 3개가 된다. 레이저 비전 시스템은 이렇게 얻어진 특징점으로부터 카메라 캘리브레이션을 통해서 이 점들의 3차원 위치값을 찾는다.

레이저 비전 시스템으로부터 취득된 영상은 전자연산처리장치로 전달이 되고, 이 전자연산처리장치에서는 다음과 같이 영상을 처리한다. 먼저, 도 5와 같이 레이저 비전 시스템으로부터 취득된 영상을 소벨 연산(Sobel operation)과 같은 에지 추출 알고리즘을 이용하여 에지 추출을 한다. 보통 소벨 연산과 같은 2차원의 에지 추출 알고리즘은 가로 방향과 세로 방향의 에지를 추출하기 위해서 2가지의 행렬을 사용하는데, 이를 각각

라고 할 때 그 행렬 값은 아래와 같다.

위의

를 이용하여 각각 레이저 비전 시스템에서 취득한 영상

와 컨벌루션을 하면 다음과 같다.

.

위에서 얻어진 영상에 다음과 같은 연산을 수행한다.

위에서 얻어진 영상

를 가우시안 필터(Gaussian filter)를 이용하여 2차원 컨벌루션을 수행한다. 일반적으로 영상처리에서 가우시안 필터의 행렬(matrix)은 3*3 이나 5*5와 같이 3보다 큰 홀수의 행렬로 나타낼 수 있다. 위의 컨벌루션을 수식으로 나타내면

이때, 가우시안 분포

는 아래와 같이 정의된다.

,

는 표준편차를 나타낸다. 영상에 따라서 1~5 사이의 값이 바람직하다.

위의 과정을 거쳐서 얻어진 영상을 최종적으로 아래와 같은 수식으로 연산한다.

I _result =(I _Gxx ^T I _Gyy -I _Gxy ^T I _Gxy )/(I _Gxx +I _Gyy )

최종으로 얻어진 영상

는 영상에서 특징점이 될 수 있는 점들의 후보점들을 나타내고 영상의 intensity가 크면 클수록 확률이 높은 점이다. 이를 영상의 조건에 따라 적절한 문턱값을 선정하여 이진화한다. 도 6은 위의 과정을 거쳐서 얻어진 도 5의 영상처리 결과이다. 일반적으로 8비트 영상이 0부터 255 사이의 값을 갖는데 반해서 이렇게 처리된 영상은 0부터 255의 값을 갖지 않는다. 따라서 일반영상과 같은 범위를 갖도록 결과 영상을 최대값과 최소값이 각각 255와 0이 되는 자연수의 값을 갖도록 조정해주면 도 6과 같은 영상을 얻을 수 있다.

이 영상을 영상에 따라서 100부터 200사이의 문턱값(thresholding value)으로 이진화시키면 도 7과 같은 영상을 얻을 수 있다. 이진화는 아래와 같은 수식으로 나타낼 수 있다. 영상의 수평 방향의 화소의 수를

, 수직 방향의 화소수를

라고 하면

도 7은 도 6의 영상을 위와 같이 이진화한 영상이다. 이렇게 얻어진 점들은 각각 영상에서 특징점이 될 수 있는 점들인데, 이 점들은 일반적으로 1 개의 화소로 이루어진 점들이 아니므로 가까운 거리에 있는 점들끼리 분류한다. 이를 위해서 가까운 거리에 있는 점들의 무게 중심점을 구한다. 도 7의 경우에는 3개의 점이 얻어진다.

위의 과정을 통해서 얻어지는 점들은 영상에서 용접 조인트의 특징점이 될 수 있는 점들로 이 점들이 특징점인지 아닌지를 평가하여야 한다. 이를 위해서 앞에서 얻어진 점들을 중심으로 하는 한변의 길이가 10화소에서 20화소가 되는 정사각형을 그린다. 이 정사각형을 앞의 레이저 비전 시스템에서 얻어진 영상을 이진화한 영상과 겹치게 놓고 이진화한 영상과 만나는 횟수를 센다. 도 8에서 왼쪽 상단에 있는 점은 레이저 비전 시스템에서 얻어진 영상을 이진화한 영상과 1번을 만나고 오른쪽 상단에 있는 점은 마찬가지로 1번, 아래쪽 가운데 있는 점은 2번을 만나게 된다. 여기에서 2번을 만나는 점이 찾고자 하는 용접 조인트의 특징점이다.

도 9는 용접 영상에 노이즈가 있는 경우의 모의실험 영상이다. 앞의 도 5의 영상에 여러 개의 노이즈에 해당하는 작은 직선들을 추가로 그린 영상이다. 이 영상도 위에서 설명한 과정과 동일한 과정을 거치면 도 10과 같이 해리스 코너 추출 알고리즘을 통해서 중간 영상이 얻어지고 이를 이진화하면 도 11과 같은 영상이 얻어진다.

도 11에서 가까운 점들끼리 분류하여 무게 중심값을 구하면 도 12와 같은 점들을 용접 조인트의 특징점이 될 수 있는 점들로 구할 수 있다. 그 점들로부터 한변의 길이가 20 화소인 정사각형을 그려 레이저 비전 시스템에서 얻어진 영상을 이진화한 영상과 비교하여 교차하는 횟수를 측정하면 한 번 교차하는 점은 점1, 점2, 점3, 점4, 점7, 점8, 점10, 점11, 점13, 점14이고, 2회를 만나는 점은 점6, 4회를 만나는 점은 점5, 점9, 점12이다. 따라서 특징점이 되는 점은 2회를 교차하는 점6 뿐이다.

모의실험의 결과에서와 같이 본 발명은 영상에 노이즈가 있는 경우라도 앞의 영상처리 과정으로부터 특징점이 가능한 점들을 우선 추출하고 그 점들로부터 정사각형을 그려 레이저 비전 시스템에서 취득된 영상의 이진화 영상과 비교하여 255의 화소 밝기값을 갖는 선과 만나는 횟수를 계산하는 방법으로 특징점의 위치를 얻을 수가 있는 것이다.

한편, 본 발명에 따른 레이저 비전 시스템을 이용한 용접 조인트의 특징점 검출 방법을 한정된 실시예에 따라 설명하였지만, 본 발명의 범위는 특정 실시예에 한정되는 것은 아니며, 본 발명과 관련하여 통상의 지식을 가진자에게 자명한 범위내에서 여러 가지의 대안, 수정 및 변경하여 실시할 수 있다.

Claims

레이저 비전 시스템을 이용하여 검출된 용접 대상물의 영상으로부터 특징점을 검출하는 방법으로서,
레이저 비전 시스템을 통해 획득한 용접 대상물의 영상을 이진화하는 과정과;
상기 이진화한 영상에 에지 추출 알고리즘을 적용하여 특징점이 발생할 수 있는 후보점들을 검출하는 과정과;
상기 검출한 후보점들의 중심을 검출하는 과정과;
상기 검출한 후보점들의 중심으로 주변부 이진화 영상을 비교하여 후보점들이 특징점인지의 여부를 결정하는 과정을 포함하여 이루어진 것을 특징으로 하는 레이저 비전 시스템을 이용한 용접 조인트의 특징점 검출 방법.
청구항 1에 있어서,
상기 특징점은 에지 추출 알고리즘에 의해 검출된 점들이고, 특징점이 발생할 수 있는 후보점들은 에지 추출 알고리즘에 의해 검출된 점들 중에서 일정한 밝기값 이상을 갖는 점들인 것을 특징으로 하는 레이저 비전 시스템을 이용한 용접 조인트의 특징점 검출 방법.
청구항 1에 있어서,
상기 특징점인지의 여부를 결정하는 과정은 주변부 이진화 영상을 비교하여 주변부 화이트 화소와 화소간 관계를 비교한 후에 특징점 여부를 결정하는 것을 특징으로 하는 레이저 비전 시스템을 이용한 용접 조인트의 특징점 검출 방법.
청구항 3에 있어서,
상기 이진화하는 과정은 영상이 0과 255의 값만 갖도록 이진화하고,
상기 특징점인지의 여부를 결정하는 과정은 검출한 후보점들의 중심으로 한 변의 길이가 일정 화소 이상인 정사각형을 그려 정사각형의 면과 백색 점들이 만나는 횟수를 계산하여 특징점 여부를 결정하는 것을 특징으로 하는 레이저 비전 시스템을 이용한 용접 조인트의 특징점 검출 방법.
청구항 4에 있어서,
만나는 횟수가 2회일 때 특징점으로 결정하는 것을 특징으로 하는 레이저 비전 시스템을 이용한 용접 조인트의 특징점 검출 방법.