KR101972432B1 - 레이저비전 센서 및 그 보정방법 - Google Patents

Abstract

본 발명에 따른 레이저비전 센서는 좌표를 측정하고자 하는 물체면에 수직으로 레이저빔을 투사하도록 배치된 레이저빔 투사부, 상기 레이저빔에 의하여 물체면에 형성된 영상을 촬영하도록 상기 물체면에 경사각을 이루도록 배치된 카메라부, 및 미리 저장된 변환함수를 이용하여 상기 카메라부의 영상면에서 얻어진 2차원 영상좌표로부터 상기 물체면에 대한 3차원 좌표값을 산출하는 좌표 연산부를 포함하여 구성된 것을 특징으로 한다.
상기와 같은 구성에 의하여 본 발명에 따른 레이저비전 센서 및 그 보정방법은 레이저빔 투사부를 좌표를 측정하고자 하는 물체면에 수직으로 배치하고 레이저빔의 투사에 의하여 상기 물체면에 형성된 영상을 촬영하는 카메라부는 상기 물체면에 경사지도록 배치함으로써 카메라의 영상면에 형성된 2차원 영상좌표로부터 상기 물체면의 3차원 좌표값을 용이하게 획득할 수 있다는 장점이 있다.

Description

레이저비전 센서 및 그 보정방법{A laser-vision sensor and calibration method thereof}

본 발명은 산업용 로봇암 등에 부착하여 측정하고자 하는 대상면의 3차원 좌표를 인식하는데 사용되는 레이저비전센서 및 그 보정방법에 관한 것으로서, 더욱 상세하게는 물체면과 수직하도록 레이저빔을 투사하는 레이저빔 투사부와 상기 물체면과 경사각을 이루는 카메라부를 이용하여 레이저빔의 투사에 의해 물체면에 형성된 2차원 영상으로부터 상기 물체면의 3차원 좌표를 용이하게 인식할 수 있는 레이저비전 센서 및 그 보정방법에 관한 것이다.

레이저비전 센서장치는 물체의 3차원 좌표인식용 센서로서 로봇이나 기타 자동화 기계의 끝단에 부착을 해서 이용하거나 활용하는 경우가 많은데, 상기 로봇이나 자동화 설비는 장비 본래의 기준 좌표계를 중심으로 이동 또는 모션을 하여 원하는 작업을 수행하는 좌표방식으로 동작되는 것이 일반적이다.

이러한 레이저비전 센서장치는 레이저빔과 CCD 카메라를 이용하여 공간상에 형성되는 평면 레이저빔과 카메라 사이의 광학적 기하(Optical geometry)를 이용하여 측정물체에 따른 단면의 형상에 대한 3차원 좌표값을 측정하게 된다.

이와 같은, 레이저비전 센서장치의 경우 하기 [문헌 1]에 개시된 바와 같이 일반적으로 레이저빔 투사부는 물체면에 경사각을 이루고 CCD 카메라부는 물체면에 대하여 수직하도록 구성되는데, 좌표를 측정하고자 하는 물체의 단면에서 상기 카메라의 영상선과 평면 레이저빔이 임의의 각도로 만나서 영상을 형성하게 된다.

이때, 상기 물체의 단면에 형성된 영상은 측정 단면(즉, 좌표를 측정하고자 하는 물체의 단면)의 높이에 따라 달라지게 됨으로써 물체의 단면에 대한 3차원 정보를 가지게 되는데, 레이저비전 센서장치는 이를 보정과정을 통하여 물체의 단면 형상에 대한 3차원 좌표값으로 환산하여 측정하고자 하는 물체의 단면에 대한 3차원 좌표값을 인식하게 된다.

그러나, 이와 같이 레이저빔 투사부가 물체의 단면에 대하여 경사진 수직 카메라 구조의 레이저비전 센서장치의 경우 이러한 보정과정이 매우 복잡해지는 문제점이 있을 뿐만 아니라, 보정과정을 수행하기 위해서는 센서장치를 이동시키면서 좌표를 측정하는 작업을 복수 회 반복하여야 하는 문제점이 있었다.

[문헌 1] 한국등록특허 제0752989호(2007. 8. 22. 등록공고)

본 발명은 상술한 바와 같은 종래 기술의 문제점을 해결하기 위한 것으로서, 본 발명의 목적은 레이저빔 투사부를 좌표를 측정하고자 하는 물체면과 수직으로 레이저빔을 투사하도록 배치하고 레이저빔의 투사에 의하여 상기 물체면에 형성된 영상을 촬영하는 카메라부는 상기 물체면에 경사지도록 배치함으로써 카메라의 영상면에 형성된 2차원 영상좌표로부터 상기 물체면의 3차원 좌표값을 용이하게 획득할 수 있는 레이저비전 센서 및 그 보정방법을 제공하기 위한 것이다.

상기와 같은 목적을 달성하기 위하여 본 발명에 따른 레이저비전 센서는 좌표를 측정하고자 하는 물체면과 수직으로 레이저빔을 투사하도록 배치된 레이저빔 투사부, 상기 레이저빔에 의하여 물체면에 형성된 영상을 촬영하도록 상기 물체면에 경사각을 이루도록 배치된 카메라부, 및 미리 저장된 변환함수를 이용하여 상기 카메라부의 영상면에서 얻어진 2차원 영상좌표로부터 상기 물체면에 대한 3차원 좌표값을 산출하는 좌표 연산부를 포함하여 구성된 것을 특징으로 한다.

또한, 상기 변환함수는 2차원 영상좌표와 이에 대응되는 3차원 좌표값을 동차 좌표계(homogeneous coordinate)로 표현하는 경우의 변환 행렬이며, 상기 변환 행렬은 미리 알고 있는 복수의 3차원 좌표값과 이에 대응되는 2차원 영상좌표를 이용하여 구해지는 것을 특징으로 하는 한다.

또한, 본 발명에 따른 레이저비전 센서의 보정방법은 3차원 좌표를 미리 알고 있는 복수의 물체면과 수직으로 레이저빔을 투사하고 상기 물체면과 경사진 카메라를 이용하여 상기 레이저빔에 의하여 물체면에 형성된 영상을 촬영함으로써 상기 각각의 3차원 좌표에 대응되도록 2차원 영상좌표를 획득하는 제1단계, 상기 제1단계에서 획득한 복수의 2차원 영상좌표와 이들 각각에 대응되는 3차원 좌표값을 이용하여 2차원 영상좌표를 3차원 좌표값으로 변환하는 변환함수를 획득하는 제2단계, 및 특정 물체면에 레이저빔을 투사할 경우 상기 카메라의 영상면에 형성된 2차원 영상좌표를 상기 변환함수를 이용하여 상기 특정 물체면에 대한 3차원 좌표값을 산출하는 제3단계를 포함하는 것을 특징으로 한다.

상기와 같은 구성에 의하여 본 발명에 따른 레이저비전 센서 및 그 보정방법은 레이저빔 투사부를 좌표를 측정하고자 하는 물체면과 수직으로 레이저빔을 투사하도록 배치하고 레이저빔의 투사에 의하여 상기 물체면에 형성된 영상을 촬영하는 카메라부는 상기 물체면에 경사지도록 배치함으로써 카메라의 영상면에 형성된 2차원 영상좌표로부터 상기 물체면의 3차원 좌표값을 용이하게 획득할 수 있다는 장점이 있다.

또한, 본 발명에 따른 레이저비전 센서 및 그 보정방법은 미리 알고 있는 3차원 좌표값과 이에 대응되는 2차원 영상좌표로부터 획득한 변환함수를 이용하여 임의의 2차원 영상좌표로부터 3차원 좌표값을 연산하는 방식으로 구성되기 때문에 2차원 영상좌표를 3차원 좌표값으로 보정하는 과정이 매우 용이하게 수행될 수 있다는 장점이 있다.

도1a와 도1b는 본 발명의 일실시예에 따른 레이저비전 센서의 구성을 나타낸 도면,
도2는 본 발명의 일실시예에 따른 레이저비전 센서의 동작구성을 나타낸 블럭도,
도3은 본 발명의 일실시예에 따른 레이저비전 센서의 좌표 보정방법을 설명하기 위한 도면,
도4는 수직투사구조의 레이저비전 센서의 보정용 장치를 나타낸 도면,
도5는 3차원 시각기반 서보툴 빈피킹 로봇 시스템의 좌표계를 정의한 도면,
도6은 로봇과 Opto-tracker간의 좌표변환 관계도,
도7은 Opto-tracker를 이용한 빈피킹로봇 핸드툴 캘리브레이션을 나타낸 도면, 및
도8은 로봇좌표계{R}과 센서좌표계{S}의 변환을 고려한 캘리브레이션 설계를 나타낸 도면이다.

이하에서는 본 발명의 바람직한 실시예를 첨부한 도면을 이용하여 상세히 설명하기로 한다.

또한, 앞서 설명한 [문헌 1]의 경우 본 발명의 발명자 중 1인이 공동발명한 것으로서, 본 발명의 명세서 및 도면에서 설명한 부분과 배치되지 않는 범위내에서는 본 발명의 내용으로 편입되며 이하에서는 중복되는 설명은 생략하기로 한다.

도1a와 도1b는 본 발명의 일실시예에 따른 레이저비전 센서의 구성을 나타낸 도면이고, 도2는 본 발명의 일실시예에 따른 레이저비전 센서의 동작구성을 나타낸 블럭도이다.

본 발명에 따른 레이저비전 센서는 센서 본체(1), 상기 센서 본체(1)의 내부에 수용되고 좌표를 측정하고자 하는 물체면(F)에 수직으로 레이저빔을 투사하도록 배치된 레이저빔 투사부(10), 상기 센서 본체(1)의 내부에 수용되고 상기 레이저빔에 의하여 물체면(F)에 형성된 영상을 촬영하도록 상기 물체면에 경사각을 이루도록 배치된 카메라부(20)를 포함하여 구성된다.

이때, 상기 레이저빔 투사부(10)는 레이저 다이오드 등에 의하여 라인빔을 투사하도록 구성되는 것이 바람직하여, 상기 카메라부(20)는 통상의 CCD 카메라 모듈 등을 이용하여 바람직하게 구성될 수 있다.

또한, 본 발명에 따른 레이저비전 센서는 레이저빔 투사부(10)와 카메라부(20)의 동작을 제어하는 제어부(100), 상기 제어부(100)의 제어신호에 의하여 정보를 저장하거나 특정 정보가 미리 저장되어 있는 메모리부(50), 상기 메모리부(50)에 미리 저장된 변환함수를 이용하여 상기 카메라부(20)의 영상면에서 얻어진 2차원 영상좌표로부터 상기 물체면(F)에 대한 3차원 좌표값을 산출하는 좌표 연산부(30), 및 상기 산출된 3차원 좌표값을 사용자 또는 자동화기기 등에 출력하는 출력부(40)를 더 포함하여 구성된다.

이와 같이 본 발명에 따른 레이저빔 센서는 레이저빔 투사부(10)가 물체면(F)에 수직으로 배치되는 구성이기 때문에 레이저빔의 투사에 의한 영상을 촬영하는 카메라부(20)가 종래 기술에 따른 카메라 수직모델과 달리 레이저빔이 형성하는 평면만을 측정하는 상태가 되므로 카메라부(20)의 입장에서는 영상면에 형성된 2차원 영상좌표를 후술하는 방식으로 보정만 하면 상기 물체면에 대한 3차원 좌표값을 획득할 수 있게 된다.

한편, 도3은 본 발명의 일실시예에 따른 레이저비전 센서의 좌표 보정방법을 설명하기 위한 도면인데, 레이저비전 센서에서의 좌표 보정이란 좌표를 측정하고자 하는 물체면에 레이저빔을 수직으로 투사할 경우 물체면에 형성된 영상인 물체의 단면 프로파일에 해당하도록 카메라의 영상면에 형성되는 2차원 영상 좌표계

상의 2차원 영상좌표와 레이저비전 센서 좌표계

상의 3차원 절대 좌표값 사이에 존재하는 대응관계를 구하는 과정이다.

이때, 상기 대응 관계는 아래의 [수학식 1]과 같이 4X3의 변환 행렬로 나타낼 수 있으며, 여기서 2차원 영상좌표와 3차원 죄표값은 모두 동차(Homogeneous) 좌표계의 형태로 표현될 수 있다.

여기에서, (x,y,z)는 공간상의 좌표(3차원 좌표값)이고, (U,V)는 카메라 영상면에 맺히는 영상좌표이며, h는 동차 좌표계 도입요소이다. 또한, (u,v)는 U=u/h, V=v/h의 관계에 있는 동차 좌표계를 나타내며, 상기 [수학식 1]은 아래의 [수학식 2]로 나타낼 수 있다.

이를 전개하면, 다음과 같이 수학식 3이 유도된다.

수학식 3에서, 미지수가 12개이고 식은 3개이므로, 최소 4점 이상의 정확한 공간상의 3차원 좌표값과 그에 상응하는 2차원 영상좌표를 알면 변환 행렬을 얻을 수 있게 된다. 편의상

로 하여 n개의 데이터에 대하여 행렬로 표현하면 아래의 수학식 4가 유도된다.

따라서, 3차원 보정 행렬 M은 아래의 수학식 5로 구할 수 있다.

이와 같이, 변환 행렬이 결정되면 영상 좌표계에 나타나는 임의의 한점 좌표 (U, v)를 알 때, 그에 대응하는 3차원 공간상의 한점에 대한

를 다음 수학식 6으로 구할 수 있게 된다.

도4에 도시된 바와 같이, 전용 장착 지그 상에 좌표계 라인을 표시하여 레이저 센서 보정을 용이하게 수행할 수 있도록 제작하였다. 특히 용접 조인트 상에 설치되는 물체좌표계{O}를 센서좌표계{S}와 일치시키도록 하였다.

3차원 입체형상 시각센서로 작업 대상물을 정확하게 인식하고 이를 서보핸드 툴로서 그립핑하고 작업을 완료하기 위해서는 로봇끝단에 부착되어 있는 시각센서와 서보핸드 툴의 상관 변환 관계를 정확하게 정의하여야만 한다. 바꾸어 말하면 시각센서에서 인식된 3차원 물체좌표계 상의 작업대상물에 대한 좌표값을 로봇베이스 좌표계에 대한 변환값으로 바꾸어야 하며, 이를 정확하게 보정된 로봇 서보핸드툴의 이동좌표값으로 환산하여 빈피킹 작업이 수행되어야 한다. 그래서 우선적으로 전체 로봇빈피킹 로봇 시스템의 좌표계가 정의되어야 하는데 도5와 같이 전체 빈피킹 로봇 좌표계 시스템을 먼저 정의하였다.

여기에서 { R }은 로봇 베이스 좌표계, { t }는 다관절 로봇 끝단의 TCP0의 끝단 좌표계, { T }는 서보핸드 툴의 작업중심 좌표계, { S }는 3차원 시각센서 좌표계, { O }는 빈피킹 대상물이 되는 물체의 좌표계이다. 이들 좌표계 간의 자동좌표변환을 개발하기 위해서는 로봇자체의 기구학에서 결정되는 { R }, { t }과 3차원 시각센서 캘리브레이션에서 정해지는 { S }와 { O }사이의 캘리브레이션 방법외에 로봇과 서보툴{ T }간의 변환을 캘리브레이션 하여야 하고 로봇과 { S }간의 캘리브레이션이 수행되어야 한다. 이에 대하여 좌표 변환방법들을 개발하였다.

(1) 빈피킹을 위한 핸드툴 ( Hand - Tool ) 캘리브레이션 알고리즘

빈피킹 로봇을 위한 핸드툴 캘리브레이션을 위해서 본 연구에서는 Opto-Tracker를 이용하여 효과적으로 툴을 보정할 수 있는 방법을 개발하였다. ISO 9283에 근거한 다관절 로봇의 시험성능평가를 위하여 Opto-Tracker를 많이 사용하고 있으며 본 개발에서도 이를 활용하는 방법을 연구하였다. 도6의 로봇 베이스좌표계{R}과 Opto-Tracker 좌표계{ O }간의 변환관계를 먼저 규명(Identification)함으로써 6R 다관절 로봇툴(Robot Tool)의 효과적인 캘리브레이션 방법을 개발완료 하였다.

도6에서와 같이, 로봇기준좌표계에 대해서 여러 번 로봇을 움직이면서 Opto-Tracker좌표계상에서 점들(

)로 측정할 수 있고 이들 점 데이터들을 이용하여 두 좌표계간의 변환을 구한다. 로봇자체의 측정점(

) 들이 충분한 정밀도를 가진다면,

의 관계식은 성립되고, 여기에서

는 로봇 조인트 및 링크 변수에 대한 함수로 주어진다. 즉, 주어진

와

로부터

와

를 추정하는 것이다. 베이스 프레임상의 좌표 값들을

로 두고 물체 좌표계 원점을

로, 그들에 대한 물체 좌표계 상의 값을

로 두면 다음의 수학식 11이 된다.

로봇 베이스 보정에서는 먼저 회전 성분을 구하면 병진 성분은 간단히 구하여 질 수 있다. 물체의 공간 회전은 단위 4원수와 그에 대한 공액(Conjugate) 4원수의 곱으로 표현 가능하다.

이렇게 로봇의 움직임만을 이용하여 로봇과 Opto-Tracker간의 좌표계 변환이 구해지게 되면 이를 이용하여 도7과 같이 TCP0에 새로운 빈피킹로봇 작업용 핸드툴(Hand Tool)을 설치한 경우에도 효과적인 캘리브레이션을 수행할 수 있다.

도7에서, m개의 로봇움직임(

)은 로봇에서 직접얻어낼 수 있는 벡터이고 새로운 작업툴을 장착한 경우에 해당하는 (

)의 좌표값은 Opto-Tracker로서 측정이 가능하다. 앞의 과정에서

이 구해졌으므로 이를 동일한 기준좌표계값인 로봇좌표계 값으로 변환가능하고 이들의 상관관계로부터 새로운 툴의

벡터를 수학식12로 구할 수 있다.

수학식12에서,

은 각 움직임에 대하여 로봇좌표계에서 읽은 TCP0의 위치값을 의미하여

는 그때의 툴끝단점을 Opto-Tracker로서 측정하여 로봇기준좌표계로 변환한 값을 의미한다. 이로서 복수의 m개 측정점을 이용하여 최소자승법을 적용하여 새로운 툴의 캘리브레이션을 효과적으로 수행할 수 있다.

(2) 빈피킹을 물체인식위한 핸드아이 시각시스템 캘리브레이션 알고리즘

레이저 3차원 시각센서를 장착하는 경우의 시각시스템 캘리브레이션의 경우 레이저시각 센서의 설계단계에서부터 좌표계 원점을 개발자가 직접 정의할 수 있는 구조이므로 이를 이용하여 로봇끝단에 부착하는 방식을 고려하여 도8과 같이 시각시스템의 로봇{R}에 대하여 캘리브레이션할 수 있는 구조로 해결할 수 있다.

하지만, 일반 스테레오 카메라를 사용한 경우에는 센서 좌표계 원점이 어디에 설치되는지 예상하기도 힘들고 직접적 측정은 더더욱 불가능하다. 이에 대한 해결책으로 본 연구에서는 로봇의 이동성과 여러 장면 영상을 활용하여 스테레오 핸드-아이 보정하는 알고리즘을 연구 하였다.

이와 같이, 본 발명이 속하는 기술분야의 당업자는 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있다는 것을 이해할 수 있을 것이다.

그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이해해야만 하고, 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

10 : 레이저빔 투사부 20 : 카메라부
30 : 좌표 연산부 100 : 제어부

Claims (3)

1. 좌표를 측정하고자 하는 물체면에 수직으로 레이저빔을 투사하도록 배치된 레이저빔 투사부;
   상기 레이저빔에 의한 물체면 영상을 촬영하도록 상기 물체면에 경사각을 이루도록 배치된 카메라부;
   변환함수가 저장되는 저장부;
   상기 변환함수를 이용하여 상기 카메라부의 영상면에서 얻어진 2차원 영상좌표로부터 상기 물체면에 대한 3차원 좌표값을 산출하는 좌표 연산부를 포함하며,
   상기 변환함수는 2차원 영상좌표와 이에 대응되는 3차원 좌표값을 동차 좌표계(homogeneous coordinate)로 표현하는 경우의 변환 행렬로 아래 [수학식 1]을 만족하는 것이며, 상기 변환 행렬은 미리 알고 있는 4점 이상의 3차원 좌표값과 이에 대응되는 2차원 영상좌표를 이용하여 구해지는 것을 특징으로 하는 레이저비전 센서.
   [수학식 1]
   

   

   
   (x,y,z)는 공간상의 좌표(3차원 좌표값)이고, (U,V)는 카메라 영상면에 맺히는 영상좌표이며, h는 동차 좌표계 도입요소이고, (u,v)는 U=u/h, V=v/h의 관계에 있는 동차 좌표계)
2. 삭제
3. 제1항에 의한 레이저비전 센서를 이용한 레이저비전 센서의 보정방법에 있어서,
   3차원 좌표를 미리 알고 있는 복수의 물체면에 수직으로 레이저빔을 투사하고 상기 물체면과 경사진 카메라를 이용하여 상기 레이저빔에 의한 물체면 영상을 촬영함으로써 상기 각각의 3차원 좌표에 대응되도록 카메라의 영상면에 형성된 2차원 영상좌표를 획득하는 제1단계;
   상기 제1단계에서 획득한 복수의 2차원 영상좌표와 이들 각각에 대응되는 3차원 좌표값을 이용하여 2차원 영상좌표를 3차원 좌표값으로 변환하는 변환함수를 획득하는 제2단계; 및
   특정 물체면에 레이저빔을 투사할 경우 상기 카메라의 영상면에 형성된 2차원 영상좌표를 상기 변환함수를 이용하여 상기 특정 물체면에 대한 3차원 좌표값을 산출하는 제3단계를 포함하는 것을 특징으로 하는 레이저비전 센서의 보정방법.
   
   

Images