KR100852093B1 - 오차를 최소화하는 선형광 형상검출 시스템 및 방법 - Google Patents

Abstract

본 발명은 선형광원과 카메라를 이용한 형상 검출 장치에 관한 것으로서, 광원과 렌즈 및 카메라의 왜곡에 의한 오차와 형상검출 장치와 보정장치를 수작업으로 측정하고 조립하면서 발생하는 인공적 오차를 제거할 수 있는 형상검출 시스템 및 방법을 제공하는데 그 목적이 있다. 본 발명은 먼저 면이 고른 판에 일정한 보정점을 일렬로 배치한 보정판과, 이 보정판의 전방에 카메라와 선형광원으로 이루어진 센서부를 위치시키고 전후로 이동시키면서 보정판 영상을 얻고, 영상 내의 보정점 위치와 선형광과의 상관관계로부터 선형광원의 중심에 해당하는 기준광점의 영상좌표와 실제좌표를 보정파일에 저장하는 보정단계, 그리고 실제 대상 물체에 선형광원을 투사한 영상을 얻고, 그 영상 내의 광원위치인 물체광점을 보정파일의 기준광점들과 비교하는 방법을 사용하여 물체광점의 실제좌표 계산하는 형상검출 단계를 포함하여 구성되는 선형광원과 카메라를 이용한 형상검출 방법을 그 요지로 한다.

형상검출, 보정, 거리검출, 3차원 인식, 레이저 스캐너

Description

오차를 최소화하는 선형광 형상검출 시스템 및 방법 {Stripe-Light Range Finding System and Method Minimizing Errors}

도 1은 본 발명에 있어서, 형상검출기의 보정을 위한 시스템 구성도

도 2는 본 발명에 있어서, 대상물체의 형상을 검출하기 위한 시스템 구성도

도 3은 본 발명에 있어서, 보정판의 구성과 입력영상의 예를 보인 도면

도 4는 본 발명에 있어서, 보정 프로세서의 과정을 나타내는 플로우챠트

도 5는 본 발명에 있어서, 형상검출 프로세서의 과정을 나타내는 플로우챠트

도 6은 본 발명에 있어서, 대상물체에 투사된 선형광 영상을 예를 보인 도면

<도면의 주요부분에 대한 부호의 설명>

1 : 센서부 2 : 카메라

3 : 선형광원 4 : 선형모터

5 : 보정판 6 : 보정점

7 : 기준보정점 8 : 보정판에 투사된 선형광

9 : 컴퓨터부 10 : 보정프로세서

11 : 보정파일 12 : 형상검출프로세서

13 : 대상물체 14 : 기준광점

15 : 보정중심점 16 : 물체에 투사된 선형광

17 : 물체광점 18 : 보정 영상

19 : 대상물체에 투사된 선형광

본 발명은 선형광원(slit-light source)을 물체에 투사하고 이 장면을 카메라로 촬영하면 영상(image) 내에서 물체에 투사된 광원의 변위가 생기고, 그 변위는 카메라와 물체 사이의 거리(range)와 상관관계를 가지게 되며, 그 상관관계를 식으로 유도하여 선형광원이 투사된 영상 내의 선형광원의 모든 화소(pixel)에 해당하는 물체와 카메라 간의 거리를 검출할 수 있는 선형광원과 카메라를 이용한 삼각도법(triangulation) 기반의 형상검출 시스템과 그 방법에 관한 것이다.

이를 위해서는 먼저 카메라의 전방에 광학 필터를 부착하여 선형광원만 영상 화면의 상이 맺히도록 하고, 그 영상의 선형광원에 해당하는 화소에 대해 그 화소의 위치 값 (u,v)로부터 실제 좌표값 (x, y, z)를 구하는 과정을 보정(calibration)이라 한다. 일반적으로 보정과정은 카메라와 렌즈의 및 선형광원의 광적 특성을 동시에 고려하여야 하므로 복잡한 보정 과정을 거쳐야 한다. 보정 을 위해 내부와 외부 카메라 변수를 유도하는데 내부 변수는 카메라 초점거리, 확대계수(scale factor), 렌즈의 왜곡 계수 등이다. 외부변수는 카메라 좌표계와 기준 좌표계 사이의 회전 행렬과 병진 행렬이다. 이러한 내부와 외부 변수를 이용하여 변환 행렬(matrix)을 구성하고 그 변환행렬에 광원 화소의 위치값 (u,v)를 대입하면 실제 좌표값 (x, y, z)를 구할 수 있다.

상기한 거리 검출 방법은 카메라와 렌즈가 선형적인 특성을 가지고 있으며, 선형광원이 이상적으로 직선임을 가정하고 있다. 그러나 실제적으로는 카메라와 렌즈가 비선형적이며 선형광원도 완전한 직선이 아니며 이것들은 내부와 외부변수를 왜곡시키게 되므로 검출한 거리 데이터는 오차를 가지게 된다. 뿐만 아니라 저가의 카메라와 렌즈 및 선형광원을 사용하면 왜곡 특성이 더욱 크게 되어 형상검출기의 오차가 더욱 커지는 단점이 있다.

또한 보정과정에서 카메라의 위치와 방향이나, 물체를 대표하는 보정점과 이를 촬영한 영상의 보정점을 대응(matching)하는 과정이나, 선형광원의 위치 등을 사용자가 직접설치하고 그 위치를 직접 측정함으로써 오차가 발생하는 단점이 존재한다.

본 발명은 선형광원과 카메라로 이루어진 거리 검출기를 먼저 구성하여 고정시키고 난 이후에 보정점과 카메라 영상의 상응점들을 서로 대응시켜서 상기한 왜 곡 요소와 오차요소를 최소화시키는 방법에 관한 것이다.

선형광원과 카메라를 이용한 형상검출 장치에 있어서 이상적으로는 정확한 선형광과 왜곡이 없는 렌즈와 카메라를 사용하여야한다. 그러나 실제로 이러한 왜곡이 존재하며 저가의 선형광원이나 카메라를 사용할 경우 광원, 렌즈, 카메라에서 왜곡에 의한 오차가 발생한다. 또한 보정에 있어서 광원, 카메라의 위치를 사용자가 직접 측정하고 조립하게 되므로 인공적 오차요인이 존재한다. 본 발명은 비선형 렌즈에 대한 왜곡을 최소화시키고, 인공적 오차를 제거할 수 있는 보정 방법 이용한 형상검출 시스템 및 방법을 제공함으로써, 기존의 형상검출기의 정확도를 높일 수 있고, 저가의 선형광과 카메라로 구성하면서도 정확도가 상당히 높은 형상검출기를 제공하는데 목적이 있다.

상기한 목적을 달성하기 위한 본 발명의 구성을 설명하면 다음과 같다.

본 발명의 구성은 보정단계와 형상검출단계로 나누어진다. 보정단계는 형상검출기를 제작하는 단계에서 1회에 한하여 필요한 과정이며, 형상검출단계는 보정이 완료된 후 임의의 대상 물체에 대한 형상을 검출하기 위한 과정이다.

본 발명의 시스템의 하드웨어 구성을 첨부한 도면과 함께 상세히 설명하면 다음과 같다.

본 발명의 검출시스템의 하드웨어는 선형광원의 영상을 입력하기 위해 구성한 선형광원(3)과 카메라(2)로 이루어진 센서부(1)와, 입력된 선형광원의 영상으로부터 형상을 검출하기 위한 프로세서가 처리되는 컴퓨터부(9)와, 보정을 위해 필요한 장치인 보정판(5)으로 구성된다.

상기 센서부(1)는 렌즈가 포함되고 일반적으로는 선형광원만 구분하여 입력시킬 수 있는 광학필터가 포함된 카메라(2)와 선형광원(3)으로 이루어진다.

일반적으로 카메라는 감도가 좋고 수직수평 배열이 완벽한 센서(CCD)를 이용하며 좌우상하 대칭형의 렌즈를 사용하는 경우가 다수이나, 본 발명에서는 비대칭적 렌즈를 사용하는 저가의 카메라에 의해서도 정확한 거리 측정이 가능한 것이다.

일반적으로 선형광원(3)은 일정한 파장의 레이저의 전면에 선형과원으로 바꾸어 줄 수 있는 원주형 렌즈를 부착한다.

본 발명의 보정단계에 필요한 보정판(calibration panel)(5)은, 면이 고른 판에 일정한 보정점(6)을 배치한 형태로서, 카메라로 입력한 영상에서 배경과 보정점을 구분하고, 영상 내에서 선형광원과 보정판의 임의의 좌표를 상관시킬 수 있는 기능을 가진 다양한 방법을 쓸 수 있다.

일반적으로는 보정판의 흰색의 바탕에 원형 또는 사각형의 보정점을 이용할 수 있다. 상기 보정점은 보정판의 위치와 보정점의 중심 위치에 의해 하나의 실제좌표(x, y, z)로 정의하기 위한 것이다.

특수하게는 보정판은 첵크 무늬의 흰색과 검은색의 사각형으로 이루어 질수 도 있다.

보정판(5)의 바탕에 보정점을 배열하는 방법은 일정한 간격으로 이루어진 병렬의 두 줄로 배치하며, 특수하게는 일정한 간격으로 한 줄로 이루어진 경우도 있을 수 있다.

보정점은 영상을 입력하여 영상 처리하기에 용이한 형태로 구성하게 되며 일반적으로 보정판의 기준점을 정의하기 위하여 사각형 등 다른 보정점과 구분할 수 있는 기준보정점(7)을 사용한다.

다음은 본 발명의 보정단계를 첨부한 도면 1, 도면 3, 및 도면 4와 함께 상세히 설명한다.

상기한 보정방법은 센서부(1)의 전방에 수직으로 보정(5)판을 두고 센서부의 선형광(8)을 투사한 후 카메라 보정판의 영상을 입력한다. 이때 선형광(8)은 보정판의 두열의 보정점(6)들의 중앙에 위치시킨다.

일반적으로는, 선형광(8)과 보정점(6)을 동시에 입력할 경우 한쪽의 영상이 희미해지는 경우가 발생하므로, 센서부를 동일한 위치에서 먼저 보정점 영상을 얻고, 그 후에 선형광 영상을 얻고 이를 하나의 영상으로 만드는 방법을 이용한다.

상기한 보정단계의 영상 입력은 선형모터(4)를 이용하여 센서부(1)를 전 후로 이동시키면서 보정점이 영상 내에 나타나기까지 되풀이하는데, 보정점이 나타나는 센서부의 전 후 이동 거리가 센서부의 거리 검출 범위가 되는 것이다.

영상입력으로 얻어진 영상에는 보정점(6)과 선형광(8) 영상이 나타나게 되는데, 영상 내에서 보정점의 중심위치인 보정중심점 (uc,vc)(15)를 검출하고, 선형광 영상의 중심위치인 기준광점 (ua,va)(14)를 구한다. 상기한 보정중심점과 기준광점을 구하는 과정은 기존의 영상처리 방법을 사용한다.

일반적으로는 보정중심점을 구하기 위해서는 각각의 보정점 영역의 무게중심을 구하는 방법을 사용하며, 기준광점은 세선화(thinning)방법을 사용한다. 일반적으로는 보정중심점과 기준광점을 구하는 과정으로 통해 하위 화소(sub-pixel) 단위의 해상도를 얻는다.

다음은 기준광점의 영상좌표와 실제좌표를 구하는 단계이다. 이를 위해서는 기존의 영상처리 분야에서 활용되는 다양한 보간(interpolation) 방법을 사용할 수 있다.

일반적으로는 기준광점 (ua,va)와, 보정중심점 (uc,vc)와, 보정점의 실제좌표 (xc, yc, zc)를 이미 알고 있으므로, 원근 변형(perspective warping) 방법을 이용한다.

이 방법은 영상 내에서 기준광점의 좌우편의 두 보정점에 의해 이루어지는 4 점을 선택하고, 실제좌표계 상에서 그 네 개의 점이 이루는 사변형으로 원근 변형 하여 기준광점(14)의 실제좌표를 계산하게 된다.

상기한 원근변형 방법 외에도 기준광점의 영상좌표와 보정점의 영상좌표와 실제좌표를 이용하여 기준광점(14)의 실제좌표를 계산할 수 있는 여러 가지 방법들은 본 발명에 포함되는 것이다.

상기한 방법으로 얻어진 기준광점(14)의 영상좌표 (ua,va)와 실제좌표(xa, ya, za)의 집합으로 구성된 보정파일(calibration file)(11)을 만든다.

상기한 보정단계는 기존의 보정방법에서 선형광이 보정판의 일정한 위치에 정확히 투사되어야 하는 과정이 불필요한 것으로서, 선형광을 병렬로 이루어진 보정점의 두 열의 가운데만 위치시키면 기준광점 좌표들로 구성된 보정파일이 자동적으로 생성할 수 있어서 수동 조작에 의한 왜곡이나 오차를 최소화하는 장점이 있는 것이다.

상기한 보정단계에 사용되는 영상처리 과정은 컴퓨터부(9)의 보정프로세서(10)상에서 이루어지는 것이다.

다음은 본 발명의 형상검출 단계에 대해 도면 2와 도면 5를 중심으로 상세히 설명한다.

형상검출 단계는 상기한 보정과정이 완료된 보정파일(11)을 이용하여, 대상 물체(13)에 선형광원을 투사한 결과를 카메라로 입력한 영상으로부터, 센서부에 대한 물체의 실제좌표를 구하는 과정이다.

대상물체(13)에 선형광원을 투사하고 영상을 입력한다. 입력된 영상으로부터 선형광의 영상만으로 이루어진 영상을 얻기 위해, 일반적으로는 상기한 카메라 내부에 선형광만 통과시키는 광학필터를 부착한다.

입력된 선형광 영상으로부터 잡음을 제거시키고 선형광(16)의 중심에 해당하는 물체광점 (ub,vb)(17)를 얻기 위해 세선화 과정을 거친다.

상기한 물체광점을 얻기 위한 세선화 과정은 기존의 영상처리 알고리즘을 사용할 수 있으며 일반적으로 하위 화소(sub-pixel) 단위의 해상도를 얻는다.

영상 내에서 물체광점(17)을 중심으로 하여 영상좌표계 상에서 가장 근접한 두 개 이상의 기준광점(14)을 보정파일로부터 찾는다. 그 기준광점들의 영상좌표 (ua,va)와 실제좌표 (xa, ya, za)를 알고 있으므로 물체광점(17)의 실제좌표 (xb, yb, zb)를 영상처리 분야에서 알려진 보간 방법을 이용하여 구한다. 일반적으로는 보간 방법은 B-spline 보간을 이용한다. 상기 방법으로 얻어진 물체광점의 실제좌표들의 집합이 대상물체의 형상을 나타내 주는 것이다.

상기한 형상검출 과정에서 물체광점의 실제좌표를 기준광점의 영상좌표와 실제좌표와의 상관관계로부터 구하는 방법은 본 발명의 범위에 포함되는 것이다.

요약해서 설명하면 상기한 형상검출 방법은 대상 물체에 투사된 선형광 영상 을 얻고, 그 영상 내에서 선형광(16)의 중심위치인 물체광점(17)을 구하고, 그 물체광점의 위치를 보정파일 상에서 가장 근접한 기준광점(14)의 영상좌표(ub,vb)와 실제좌표(xb, yb, zb)를 이용하여 계산하여 물체광점의 실제좌표 (xb, yb, zb)를 얻게 된다는 것이다.

본 발명에서는 선형광원과 카메라로 이루어진 형상검출기에 있어서 렌즈와 카메라에 의한 왜곡을 최소화시키고, 보정과정에서 사용자의 직접 측정과 조작에 의한 오차를 제거할 수 있도록 하는 보정 방법을 이용한 형상검출 시스템 및 방법을 제공함으로써, 카메라의 렌즈가 좌우 대칭형으로 제작되지 않은 경우와, 내부 변수 중 수평 수직의 단위 화소 길이로 정의할 경우 카메라의 광센서(CCD) 제작에서 발생하는 왜곡과, 선형광원의 광 평면을 정의할 경우 측정 오차 등을 제거할 수 있는 효과를 얻을 수 있어서, 기존의 형상검출기의 정확도를 상당히 개선하고, 저가의 선형광과 카메라로 구성하고서도 정확도가 상당히 높은 형상검출기를 제공할 수 있다.

Claims (6)

1. 선형광원과 카메라를 이용하는 형상검출에 있어서, 보정판(5)에 일정한 간격이면서 두 열로 분포된 보정점(6)의 영상을 얻고, 보정점의 두 열의 중심의 임의의 위치에 선형광(8)을 투사하고, 보정점의 실제좌표를 알고 있을 때, 선형광원의 중심에 해당하는 기준광점(14)의 영상좌표를 계산하고, 주위의 2개 이상의 보정점의 영상좌표와 실제좌표를 이용하여, 기준광점의 실제좌표를 계산하여, 기준광점의 영상좌표와 실제좌표로 이루어진 보정파일(11)을 생성하는 보정 방법.
2. 제 1항에 있어서 기준광점의 영상좌표와 실제좌표를 계산하기 위해, 기준광점(14)의 주위의 좌우편의 가장 근접한 보정점 2개로 이루어진 4개의 보정점을 선택하고, 4개의 보정점의 영상좌표를 실제좌표로 원근변형(perspective warping)하고, 그로부터 기준광점(14)의 실제좌표를 계산해내는 보정 방법.
3. 삭제
4. 삭제
5. 삭제
6. 삭제

Images