KR20190076607A - 로봇시각과 융합하여 사용하는 이종 센서 간 캘리브레이션 보조장치 - Google Patents

Abstract

본 발명은 로봇에서 자율주행을 위해 전방의 장애물이나 물체를 인식하기 위해 카메라를 사용하는 경우 고가의 스테레오 카메라 대신 단안 카메라와 거리센서를 융합하여 물체를 인식하고 경로를 파악하는 경우 센서 간의 설치 위치 차이로 인해 발생하는 위치에러를 보정하는 경우 제 3의 도구나 보정장치를 사용하게 되는데 이를 간단하게 전방에 열십자모양의 격자를 사용하여 알고리즘 내에서 단순한 삼각법과 같은 쉬운 수식으로 계산이 가능하도록 하여 캘리브레이션을 쉽게 하기 위한 것이다.

Description

로봇시각과 융합하여 사용하는 이종 센서 간 캘리브레이션 보조장치 {Calibration apparatus for robot vision camera and fusion sensor}

본 발명은 전방 물체 또는 장애물의 정확한 위치파악을 위한 것이다. 구체적으로 본 발명은 로봇 또는 차량 등의 안전한 자율주행 위하여 사용되는 카메라와 이종센서가 각각 서로 다른 설치 위치를 갖음에 따라 하나의 전방 물체 또는 장애물의 위치를 정확하지 못함을 해결하기 위한 것이다. 본 발명은 전방 주시용 로봇시각이 스테레오 카메라가 아닌 1개의 카메라를 사용할 경우 이종 센서간 설치 위치가 달라 전방 물체나 장애물간의 정확한 위치를 파악하기 어려우므로 캘리브레이션을 통해 정확도를 높이는 다양한 방법을 활용하고 있는데, 전방에 간단히 설치하여 사용으로서 캘리브레이션을 매우 용이하게 하기 위한 장치이다.

로봇시각은 스테레오 카메라를 이용할 수 있다. 스테레오 카메라는 거리와 영상정보를 얻을 수 있지만 고가이고 영상처리의 부담이 커서 실시간 처리에 어려움이 있다. 이 때문에 간단하게 거리측정이 가능한 센서와 1개의 카메라만을 사용하는 경우가 많다.

이 경우 카메라와 센서의 설치 위치가 다르게 될 수 밖에 없다. 이 때문에 어느 하나의 물체의 인식 각도나 위치가 차이가 난다. 이로 인하여 에러가 발생하여 정확한 위치나 거리측정이 어려워진다.

따라서 동일한 물체에 대한 좌표값이라도 거리 센서의 좌표축과 카메라의 좌표축이 일치하지 않기 때문에 이를 일치시켜줄 필요가 있다. 좌표축을 서로 일치시켜주는 과정을 캘리브레이션(Calibration)이라고 한다.

본 발명은 카메라 전방에 간단한 캘리브레이션 보조장치를 부착하여 카메라와 센서 사이의 위치에러를 용이하게 보정할 수 있도록 하는 장치이다.

1. 등록특허 제10-1772220호(멀티빔소나와 카메라의 상대위치 추정을 위한 캘리브레이션 방법; 한국과학기술원) 2. 등록특허 제10-1626572호(캘리브레이션 장치 및 방법, 캘리브레이션 용 격자판; 삼성전자주식회사)

1. ToF센서와 RGB카메라 간 이종센서 Calibration 연구(이재민, 김동엽, 김인수, 전세웅, 박창우; 한국정밀공학회 2016년도 춘계학술대회 논문집) 2. IR 센서와 RGB카메라 간의 이종센서 Calibration 연구(이옥준, 김동엽, 이재민, 신동인, 황정훈, 김은태, 전세웅; 한국정밀공학회 학술발표대회 논문집; 2016.10.)

본 발명은 위와 같은 문제점을 해결하기 위하여 카메라 앞에 열십자 모양으로 중심점을 쉽게 알 수 있도록 구성한 캘리브레이션 보조장치를 구비하여 센서 위치 에러를 보정할 때 더욱 쉽게 이용할 수 있도록 하는 데 그 목적이 있다.

본 발명은 전방의 물체를 촬영하기 위한 카메라(100); 상기 카메라(100)와 함께 전방의 물체에 대한 거리 정보를 계측하기 위한 센서(200); 및 상기 카메라(100) 렌즈의 전방에 배치되며, 상기 카메라로부터 측정되는 물체의 중심을 가상적으로 디스플레이될 수 있도록 한 격자(300)를 포함할 수 있다.

본 발명은 상기 격자(300)를 상기 카메라(100)의 전방에서 X 및 Y축 방향으로 이동시키기 위한 조정자(310, 320)를 더 포함할 수 있다.

본 발명은 카메라 앞에 열십자형의 격자를 설치하여 전방 물체의 중심점을 쉽게 알 수 있도록 하였다. 카메라 특히, 단안 카메라로 거리측정이 어려워 거리 정보를 얻기 위한 라이다나 초음파센서 같은 이종센서가 같이 사용된다. 이종센서에서 얻은 거리 정보를 영상정보의 열십자 모양이 표시된 중심점의 거리로 삼아 용이하게 캘리브레이션을 하는데 효과가 있다.

또한, 열십자형의 격자판을 2차원의 영상에서 X축과 Y축으로 움직일 수 있도록 구성하여 화면의 중심점이나 최단거리에 있는 물체에 옮겨 센서에서 얻은 최단거리 정보와 융합하여 캘리브레이션을 쉽게 할 수 있도록 하여 센서를 옮기거나 다시 부착할 때 쉽게 캘리브레이션하는데 효과가 있다.

도 1은 본 발명에 따른 캘리브레이션 보조장치를 나타낸 개념도
도 2는 본 발명에 따른 또 다른 캘리브레이션 보조장치를 나타낸 개념도
도 3은 본 발명에 따른 또 다른 캘리브레이션 보조장치의 작동을 나타낸 개념도
도 4는 본 발명에 따른 캘리브레이션 보조장치에 있어서 Y축 보정을 위한 개념도
도 5는 본 발명에 따른 캘리브레이션 보조장치에 있어서 X축 보정을 위한 개념도

이하, 본 발명의 바람직한 실시 예에 대하여 첨부된 도면을 참조하여 상세히 설명하기로 한다. 본 발명의 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에 그 상세한 설명을 생략하기로 한다.

도 1은 본 발명에 따른 열십자형의 격자(300)를 카메라(100) 앞에 설치한 실시예이다. 도 1을 참조하면, 카메라(100) 전방에 열십자형의 격자(300)를 설치한 경우 화면상에 나타나는 중심 곧, 화면상의 원점을 쉽게 찾을 수 있다. 여기에 나타난 물체와의 거리를 알면 카메라(100)와 센서(200)의 설치 위치 차이를 쉽게 찾을 수 있다.

센서(200)를 2D라이다로 사용하는 경우, 2D라이다에서 전방의 물체까지 최단거리는 얻어진 다수 거리정보에서 가장 가까운 거리를 선택하여 사용될 수 있다. 이때 육안으로 쉽게 알 수 있는 최단거리 물체에 카메라 중심점을 맞추면 삼각법으로 도 4와 같이 쉽게 센서(200)의 수직위치를 보정할 수 있다.

도 4를 참고하면, 카메라(100)와 센서(200)는 동일 평면에 놓인 것으로 가정하면, 센서(200)에서 전방의 물체까지의 최단거리(Lr)는 카메라(100)와 전방의 물체까지의 최단거리와 같다. 한편, 센서(200)와 카메라(100) 간의 높이차이(Lh)는 하드웨어적으로 계산될 수 있으므로 주어진 값이라 할 수 있다.

이를 참고할 때, 삼각법(피타고라스의 정리) 등을 이용하여 카메라(100)에서 센서(200)가 가리킨 물체의 중심과의 거리 또는 센서(200)에서 카메라(100)에서 가리킨 물체의 중심과의 거리 등은 쉽게 계산될 수 있다.

도 5에서와 같이 수평 위치 오차도 바로 찾을 수 있다. 수평위치 오차의 경우, 카메라(100)에서 전방 물체의 중심을 맞춘다. 센서(200)에서 물체간 거리(Lr)는 전술한 바와 같이 계산될 수 있다. 또한, 카메라(100)의 중심과 센서(200) 간의 거리(Lcr)은 하드웨어적으로 계산 가능하다. Lr 및 Lcr을 참고하여, 삼각법(피타고라스의 정리) 등을 이용하여 카메라에서 물체의 중심과의 거리(Lc)의 거리는 쉽게 계산될 수 있다. 이를 참고하여 센서(200)를 보정할 수 있다.

도 1 내지 3을 참고하여, 격자(300)에 대하여 설명한다. 도 1의 경우 전방 물체를 카메라(100) 화면상의 중심에 놓기 위하여 보조적으로 격자(300)를 배치하였다. 도 2 및 3에 도시된 바와 같이 격자(300)는 전방 물체를 카메라(100) 화면상의 중심축을 놓기 위해 로봇이나 이종센서가 설치된 장치를 움직여야 하는데 장치가 크거나 미세하게 움직이기 어려운 경우 X, Y방향으로 열십자모양의 격자판을 쉽게 움직일 수 있도록 조정자(310, 320)를 구성한 보조장치이다.

도 2 및 3을 참고하면, X 방향으로 격자(300)를 움직이게 하기 위해서는, 조정자(310, 320) 중 어느 하나를 회전시킬 수 있다. 구체적으로 도시하지는 않았으나 회전을 통하여 격자(300)가 상하좌우로 이동될 수 있다. 도 2 및 3을 참고하면, 회전축 및 회전 방향 등이 도시되어 있으며, 조정자(310, 320)을 회전축을 중심으로 회전시키면 격자(300)가 상하좌우로 이동될 수 있다.

구체적으로 도시되지는 않았으나, 조정자(310, 320)에 눈금을 표시해놓을 수 있다. 눈금이 있어 X, Y축으로 각각 얼만큼 이동했는지 알 수 있으므로 조정된 중심축의 위치와 화면상의 가상 중심과의 X, Y방향의 위치 차이와 2D라이다에서 얻은 최단거리 정보를 이용하여 간단하게 센서간 위치 오차를 계산할 수 있다.

100 : 카메라
200 : 센서
300 : 격자

Claims (2)

1. 전방의 물체를 촬영하기 위한 카메라(100);
   상기 카메라(100)와 함께 전방의 물체에 대한 거리 정보를 계측하기 위한 센서(200); 및
   상기 카메라(100) 렌즈의 전방에 배치되며, 상기 카메라로부터 측정되는 물체의 중심을 가상적으로 디스플레이될 수 있도록 한 격자(300)를 포함하는 것을 특징으로 하는 로봇시각과 융합하여 사용하는 이종 센서 간 캘리브레이션 보조장치.
   
2. 제 1 항에 있어서,
   상기 격자(300)를 상기 카메라(100)의 전방에서 X 및 Y축 방향으로 이동시키기 위한 조정자(310, 320)를 더 포함하는 것을 특징으로 하는 로봇시각과 융합하여 사용하는 이종 센서 간 캘리브레이션 보조장치.

Images