KR101965739B1 - 이동 로봇 및 이의 제어 방법 - Google Patents

Abstract

이동 로봇 및 이의 제어 방법이 개시된다. 본 발명의 실시 예들은 3차원 거리 센서를 이용하여 위치를 인식하거나 또는 실내 지도를 생성할 수 있다. 본 발명의 실시 예들은 3차원 거리 센서를 이용하고, 3차원 거리 이미지들로부터 하나 이상의 평면을 추출하고 평면들을 정합함으로써 위치를 인식하거나 또는 3차원 지도를 생성할 수 있다. 본 발명의 실시 예들은 3차원 거리 센서의 감지 값들을 이용하여 센서 프레임 사이의 상대적인 위치 관계를 계산하고, 계산 결과를 근거로 3차원 지도를 생성할 수 있다.

Description

이동 로봇 및 이의 제어 방법{MOBILE ROBOT AND METHOD FOR CONTROLLING THE SAME}

본 발명은 3차원 거리 센서를 이용하여 위치를 인식하고 실내 지도를 생성하는 이동 로봇 및 이의 제어 방법에 관한 것이다.

일반적으로 로봇은 산업용으로 개발되어 공장 자동화의 일 부분을 담당하여 왔다. 최근에는 로봇을 응용한 분야가 더욱 확대되어, 의료용 로봇, 우주 항공 로봇 등이 개발되고, 일반 가정에서 사용할 수 있는 가정용 로봇도 만들어지고 있다.

가정용 로봇의 대표적인 예는 로봇 청소기로서, 일정 영역을 스스로 주행하면서 주변의 먼지 또는 이물질을 흡입하여 청소하는 전자기기의 일종이다. 이러한 로봇 청소기는 일반적으로 충전 가능한 배터리를 구비하고, 주행 중 장애물을 피할 수 있는 장애물 센서를 구비하여 스스로 주행하며 청소할 수 있다.

근래에는 이동 로봇을 이용한 응용 기술이 개발되고 있다. 예를 들어, 네트워킹 기능을 가진 이동 로봇의 개발이 진행되어, 원격지에서 제어 명령을 내릴 수 있도록 하거나 주변 상황을 모니터할 수 있도록 하는 기능이 구현되고 있다. 또, 카메라나 각종 센서들을 이용하여 위치 인식 기능을 가진 이동 로봇들이 개발되고 있다. 또, 카메라를 이용하여 목표물을 인식하고 추적하는 기능을 구비한 이동 로봇들이 개발되고 있다.

본 발명의 실시 예들은 3차원 거리 센서를 이용하여 위치를 인식하거나 또는 실내 지도를 생성하는 이동 로봇 및 이의 제어 방법을 제공하는 데에 일 목적이 있다.

본 발명의 실시 예들은 3차원 거리 센서를 이용하고, 3차원 거리 이미지들로부터 하나 이상의 평면을 추출하고 평면들을 정합함으로써 위치를 인식하거나 또는 3차원 지도를 생성할 수 있는 이동 로봇 및 이의 제어 방법을 제공하는 데에 다른 목적이 있다.

본 발명의 실시 예들은 3차원 거리 센서의 감지 값들을 이용하여 센서 프레임 사이의 상대적인 위치 관계를 계산하고, 계산 결과를 근거로 3차원 지도를 생성할 수 있는 이동 로봇 및 이의 제어 방법을 제공하는 데에 또 다른 목적이 있다.

일 실시 예에 따른 이동 로봇은, 일정 시간 간격으로 센서 프레임들의 3차원 거리 이미지들을 획득하는 3차원 거리 센서와, 상기 3차원 거리 이미지들로부터 하나 이상의 평면을 추출하고 평면들을 정합하며 3차원 지도를 생성하는 제어 유닛을 포함하여 구성된다.

상기 제어 유닛은, 상기 3차원 거리 이미지들에 대한 거리 이미지 정보를 이용하여 각각의 3차원 거리 이미지들로부터 상기 하나 이상의 평면을 추출하는 평면 추출 모듈과, 상기 평면들의 유사도를 근거로 상기 평면들을 정합하는 평면 정합 모듈과, 상기 평면들의 정합 결과를 근거로 상기 센서 프레임들의 위치 관계들을 설정하는 위치 관계 설정 모듈을 포함하여 구성된다.

상기 평면 추출 모듈은, 상기 3차원 거리 이미지들의 픽셀들 각각에 대한 수직 벡터를 검출하는 수직 벡터 검출부와, 일정 범위 내의 수직 벡터를 갖는 픽셀들로 이루어진 픽셀 집합을 추출하는 픽셀 집합 추출부와, 상기 픽셀 집합 내의 픽셀들에 대응하는 상기 거리 이미지 정보를 근거로 평면을 표현하는 평면 파라미터를 추출하는 평면 파라미터 추출부와, 일정 개수의 픽셀들로 이루어진 외곽선을 추출하는 외곽선 추출부를 포함하여 구성된다.

일 실시 예에 따른 이동 로봇의 제어 방법은, 일정 시간 간격으로 센서 프레임들의 3차원 거리 이미지들을 획득하는 거리 이미지 획득 단계와, 상기 3차원 거리 이미지들에 대한 거리 이미지 정보를 이용하여 각 시점에서의 3차원 거리 이미지로부터 하나 이상의 평면을 추출하는 평면 추출 단계와, 상기 평면들의 유사도를 근거로 상기 평면들을 정합하는 평면 정합 단계와, 상기 평면들의 정합 결과를 근거로 상기 센서 프레임들의 위치 관계들을 설정하는 단계를 포함하여 구성된다.

상기 평면 추출 단계는, 상기 3차원 거리 이미지들의 픽셀들 각각에 대한 수직 벡터를 검출하는 수직 벡터 검출 과정과, 일정 범위 내의 수직 벡터를 갖는 픽셀들로 이루어진 픽셀 집합을 추출하는 픽셀 집합 추출 과정과, 상기 픽셀 집합 내의 픽셀들에 대응하는 상기 거리 이미지 정보를 근거로 평면을 표현하는 평면 파라미터를 추출하는 평면 파라미터 추출 과정과, 일정 개수의 픽셀들로 이루어진 외곽선을 추출하는 외곽선 추출 과정을 포함하여 구성된다.

다른 실시 예에 따른 이동 로봇은, 주 바퀴를 회전시키는 소정의 휠 모터를 구비하고, 상기 휠 모터를 구동하여 이동 로봇 본체를 이동시키는 구동 유닛과, 상기 주 바퀴에 연결되어 상기 주 바퀴의 회전수를 감지하는 휠 센서와, 상기 본체의 이동에 따라 일정 시간 간격으로 센서 프레임들의 3차원 거리 이미지들을 획득하는 3차원 거리 센서와, 상기 3차원 거리 이미지들로부터 하나 이상의 평면을 추출하고 평면들을 이용하여 이동 로봇의 위치를 인식하는 제어 유닛을 포함하여 구성된다.

본 발명의 실시 예들은 3차원 거리 센서를 이용하여 위치를 인식하거나 또는 실내 지도를 생성할 수 있다. 본 발명의 실시 예들은 3차원 거리 센서를 이용하고, 3차원 거리 이미지들로부터 하나 이상의 평면을 추출하고 평면들을 정합함으로써 위치를 인식하거나 또는 3차원 지도를 생성할 수 있다.

본 발명의 실시 예들은 3차원 거리 센서의 감지 값들을 이용하여 센서 프레임 사이의 상대적인 위치 관계를 계산하고, 계산 결과를 근거로 3차원 지도를 생성할 수 있다.

본 발명의 실시 예들은 수직 벡터 추출 과정을 간소화하고, 일부의 포인트만을 이용하여 빠르게 평면을 검출함으로써 위치 인식 또는 지도 생성의 속도를 향상시킨다. 본 발명의 실시 예들은 에지 검출을 적용함으로써 평면이 아닌 픽셀이나 노이즈를 제거할 수 있다. 본 발명의 실시 예들은 평면 외곽선을 소수의 포인트로 구성된 다각형으로 간소화함으로써 시각화에 유리하고 사용자의 편의성을 제고한다. 본 발명의 실시 예들은 평면의 파라미터에 대한 에러를 모델링함으로써 평면 정합의 성능을 향상시킬 수 있다. 본 발명의 실시 예들은 평면 병합을 통해 저장 공간의 사용량을 줄이고, 초기 위치에 대한 불확실성이 큰 경우에도 정합 성능을 향상시킬 수 있다.

도 1은 일 실시 예에 따른 이동 로봇의 구성 중 제어 유닛을 개략적으로 보인 블록도;
도 2는 도 1의 평면 추출 모듈을 상세히 보인 블록도;
도 3 및 도 4는 실시 예들에 따른 이동 로봇의 구성을 개략적으로 보인 블록도들;
도 5는 일 실시 예에 따른 이동 로봇의 제어 방법을 개략적으로 보인 흐름도;
도 6은 도 5의 평면 추출 단계를 상세히 보인 흐름도;
도 7은 본 발명의 실시 예들에 따른 평면 추출 동작을 설명하기 위한 도;
도 8은 본 발명의 실시 예들에 따른 픽셀 집합 추출 동작을 설명하기 위한 도;
도 9는 본 발명의 실시 예들에 따른 평면 파라미터 추출 동작을 설명하기 위한 도;
도 10은 본 발명의 실시 예들에 따라 평면 정합을 통해 센서 프레임 사이의 위치 관계 설정 동작을 설명하기 위한 도;
도 11은 본 발명의 실시 예들에 따른 평면 병합 동작을 설명하기 위한 도;
도 12는 3차원 거리 이미지의 일 예를 보인 도;
도 13은 도 12의 3차원 거리 이미지를 변환한 포인트 클라우드를 보인 도;
도 14는 도 12 및 도 13으로부터 평면을 추출하여 보인 도;
도 15는 본 발명의 실시 예들에 따른 평면 병합 동작을 설명하기 위한 3차원 부분 지도의 일 예를 보인 도;
도 16은 본 발명의 실시 예들에 따른 평면 병합 후 센서 프레임들의 위치 관계를 설정하는 동작을 설명하기 위한 3차원 부분 지도의 일 예를 보인 도; 및
도 17은 본 발명의 실시 예들에 따른 3차원 지도 생성 동작을 설명하기 위한 일 예를 보인 도이다.

도 1을 참조하면, 일 실시 예에 따른 이동 로봇은, 일정 시간 간격으로 센서 프레임들의 3차원 거리 이미지들을 획득하는 3차원 거리 센서(100)와, 상기 3차원 거리 이미지들로부터 하나 이상의 평면을 추출하고 평면들을 정합하며 3차원 지도를 생성하는 제어 유닛(200)을 포함하여 구성된다.

3차원 거리 센서(100)는, 발광부와 수광부를 구비하고, 적외선을 이용하여 3차원 거리 이미지들을 검출할 수 있다. 3차원 거리 센서(100)는 발광부로부터 발신된 적외선이 수광부로 반사되어 돌아오는 시간을 이용하여 거리 이미지 정보를 생성한다. 발광부와 수광부는 서로 떨어져 있는데 그 거리가 짧을수록 오차가 줄어들고 정밀한 깊이 영상 정보를 생성할 수 있다. 검출한 거리 이미지(Depth Image)의 일 예는 도 12와 같다. 3차원 거리 센서로는 KINECT (RGB-D 센서), TOF (Structured Light sensor), stereo camera 등이 사용될 수 있다.

도 3을 참조하면, 상기 이동 로봇은, 주 바퀴(410)에 연결되어 주 바퀴의 회전수를 감지하는 휠 센서(500)를 더 포함하여 구성된다. 휠 센서는 좌, 우측의 주 바퀴에 연결되어 주 바퀴의 회전수를 감지한다. 일 예로,휠 센서는 로터리 엔코더(Rotary Encoder)일 수 있다. 로터리 엔코더는 이동 로봇이 이동할 때, 좌측과 우측의 주바퀴의 회전수를 감지하여 출력한다. 제어 유닛은 회전수를 이용하여 좌, 우측 바퀴의 회전 속도를 연산할 수 있다. 후술하는 바와 같이, 이동 로봇이 평면 추출을 수행한 후, 이전에 얻어진 평면과의 정합을 통하여 이전 센서 프레임과의 상대 위치를 예측한다. 또, 이동 로봇은 주행하면서 휠 센서를 이용하여 대략적인 위치를 예측할 수 있다. 휠 센서의 정보는 부정확하므로 이동 로봇은 평면 특징점을 활용하여 보정하게 된다. 이동 로봇은 휠 센서의 정보를 이용하여 두 센서 프레임 사이의 평면을 정합하게 되고, 정합 결과를 근거로 두 센서 프레임 사이의 최적의 상대 위치를 계산한다.

또, 도 4를 참조하면, 상기 이동 로봇은, 상방 또는 전방에 구비되고, 주변을 촬영하여 영상 정보를 획득하는 영상 카메라(600)를 더 포함하여 구성될 수 있다. 영상 카메라(600)는 전방이나 상방을 향하도록 설치된다. 설치 위치는 로봇의 크기, 형태 등에 따라 달라질 수 있다. 영상 카메라(600)는 일정 해상도 이상의 CCD 카메라, CMOS 카메라 등일 수 있다. 영상 카메라(600)는 필요에 따라 렌즈를 구비할 수 있다. 제어 유닛은 영상 정보를 이용하여 로봇의 위치를 계산할 수 있다. 계산된 위치를 이용하여 상기 휠 센서를 대신하거나, 또는 휠 센서의 위치 정보와 함께, 이동 로봇은 두 센서 프레임 사이의 평면을 정합할 수 있다.

도 1을 참조하면, 제어 유닛(200)은, 상기 3차원 거리 이미지들에 대한 거리 이미지 정보를 이용하여 각각의 3차원 거리 이미지들로부터 상기 하나 이상의 평면을 추출하는 평면 추출 모듈(210)을 포함하여 구성된다.

도 2를 참조하면, 평면 추출 모듈(210)은, 상기 3차원 거리 이미지들의 픽셀들 각각에 대한 수직 벡터를 검출하는 수직 벡터 검출부(211)를 포함하여 구성된다. 도 7에 도시한 바와 같이, 수직 벡터 검출부(211)는 3차원 거리 이미지의 각 픽셀에 대하여 수직 벡터를 검출한다. 수직 벡터를 검출하고자 하는 픽셀 포인트 (P_C) 근방으로 네 개의 인접한 픽셀 (P₀ ~ P₃) 를 설정한다. 이때 인접 픽셀과의 거리는 센서의 종류와 픽셀 해상도에 의해 실험적으로 결정한다. 중앙 픽셀을 포함하는 네 개의 삼각형에 대응되는 3차원 포인트 좌표를 포인트 클라우드로부터 가져와서 네 개의 수직 벡터를 계산한다. 또, 수직 벡터 검출부(211)는 곡률이 크거나 주위 픽셀에 대하여 불연속인 픽셀을 에지로 검출한다.

또, 평면 추출 모듈(210)은, 일정 범위 내의 수직 벡터를 갖는 픽셀들로 이루어진 픽셀 집합을 추출하는 픽셀 집합 추출부(213)를 더 포함한다. 도 8에 도시한 바와 같이, 픽셀 집합 추출부(213)는 에지가 아닌 픽셀에 대하여 세그멘테이션(segmentation)하여 픽셀 집합을 추출한다. 이때, 세그멘테이션 방식으로 flood fill 방식 등을 사용할 수 있다. 특정 픽셀 위치에서 세그멘테이션이 시작되면, 파장이 진행되듯이 영역을 확장하며 수직 벡터의 방향이 유사한 셀들을 같은 픽셀 ㅈ집합으로 구분하게 된다. 이때, 이미 세그멘테이션된 픽셀, 에지 픽셀, 수직 벡터 각도차이가 큰 픽셀을 만나게 되면 영역 확장이 제한된다. 시작 픽셀의 수직 벡터가 기준 벡터로 사용이 되며, 새로운 픽셀이 추가될 때마다 수직 벡터의 이동 평균을 구하여 기준 벡터를 수정한다. 도 8에서, a는 이미 세그멘테이션된 픽셀, s는 세그멘테이션 시작 픽셀, b는 새로 세그멘테이션된 픽셀, e는 에지 픽셀, p는 수직 벡터 각도 차이가 큰 픽셀을 의미하고, 표시되지 아니한 픽셀들은 세그멘테이션 안된 픽셀들을 나타낸다.

또, 평면 추출 모듈(210)은, 상기 픽셀 집합 내의 픽셀들에 대응하는 상기 거리 이미지 정보를 근거로 평면을 표현하는 평면 파라미터를 추출하는 평면 파라미터 추출부(215)를 더 포함하여 구성된다. 도 9에 도시한 바와 같이, 평면 파라미터 추출부(215)는 세그멘테이션된 픽셀들, 즉 픽셀 집합과 대응하는 포인트 클라우드에 대해 영상 처리 기법을 적용하여 평면의 초기 모델을 생성한다. 여기서, 영상 처리 기법으로는 RANSAC (RANdom SAmple Consensus) 등을 사용할 수 있다. 평면 파라미터 추출부는 평면에 수직한 벡터를 표현하기 위한 두 개의 각도 파라미터 (α, β)와, 평면의 원점으로부터의 수직 거리 (d)등을 이용하여 평면을 표현한다. 또, 평면을 표현함에 있어서, 각도, 거리 등의 에러 모델, 즉 에러 분산(variance)을 더 이용한다. 추가적으로 평면의 범위를 표현하기 위해서 평면을 구하기 위해 사용된 픽셀 집합에 대응되는 3차원 포인트들의 가우시안 분포를 사용할 수 있다. 이때, 전체 픽셀들을 모두 사용하지 않고 RANSAC 등을 이용하여 일부의 픽셀들을 이용하여 초기 파라미터 값을 생성할 수 있다.

또, 평면 추출 모듈(210)은, 일정 개수의 픽셀들로 이루어진 외곽선을 추출하는 외곽선 추출부(217)를 더 포함한다. 외곽선 추출부(217)는 소수의 포인트들로 구성된 다각형의 외곽선을 추출한다. 먼저 거리 이미지의 픽셀 집합에서 최 외곽에 있는 포인트 한 점을 잡아 외곽선을 따라가며 순차적으로 거리 픽셀에 대응되는 3차원 포인트를 샘플링한다. 처음 위치로 돌아올 때까지 샘플링을 계속한다. 이 과정을 통해 매우 효율적으로 최 외곽 포인트 집합을 구할 수 있다.

도 13에 도시한 바와 같이, 평면 추출 모듈은 3차원 거리 이미지를 포인트 클라우드로 변환하고, 도 14에 도시한 바와 같이, 평면들을 추출할 수 있다.

도 1을 다시 참조하면, 제어 유닛(200)은, 상기 평면들의 유사도를 근거로 상기 평면들을 정합하는 평면 정합 모듈(220)을 더 포함하여 구성된다. 또, 제어 유닛(200)은, 상기 평면들의 정합 결과를 근거로 상기 센서 프레임들의 위치 관계들을 설정하는 위치 관계 설정 모듈(230)을 더 포함하여 구성된다. 도 10에 도시한 바와 같이, 새로 생성된 j 번째 프레임과 이전의 i 번째 프레임 사이의 상대적 위치관계의 추정값에 대한 가우시안 분포(T_o, C_To)은 이동 로봇의 이동 정보와 직전 프레임에서 구해진 분포를 이용해 구할 수 있다. 이 정보를 이용하면 j번째 프레임을 i 번째 프레임 상으로 변환할 수 있다. 두 개의 평면이 서로 유사한지를 판단하기 위해 이동 로봇은 각도, 거리, 범위 등 평면 파라미터들에 대해 독립적으로 유사도를 계산한다. 이동 로봇은 mahalanobis 거리를 이용할 수 있다. 평면 정합 모듈(220)은, 계산한 유사도가 일정 기준 값보다 클 경우(mahalanobis 거리가 기준 거리보다 작은 경우)에, 두 평면을 정합 후보로 설정한다. 하나의 평면이 다른 프레임의 여러 개의 평면과 중복 정합될 경우에, 평면 정합 모듈(220)은, 정확도가 가장 높은 정합을 선택한다. 위치 관계 설정 모듈(230)은 모든 평면에 대한 정합이 완료되면, 두 센서 프레임 사이의 상대적 위치 관계에 대한 가우시안 분포(T_c, C_Tc)를 구하게 된다.

제어 유닛(200)은, 상기 위치 관계들을 이용하여 상기 센서 프레임들의 위치를 보정하는 위치 보정 모듈(240)을 더 포함하여 구성된다. 위치 보정 모듈(240)은, 도 17에 도시한 바와 같이, 각 센서 프레임 사이의 위치 관계들을 이용하여 비용 함수를 정의하고, 에러를 최소화하는 센서 프레임들의 위치를 구하여 위치를 보정한다. 제어 유닛(200)은, 상기 보정된 센서 프레임들의 위치들을 이용하여 상기 3차원 지도를 생성하는 지도 생성 모듈(250)을 더 포함하여 구성된다.

제어 유닛(200)은, 복수의 센서 프레임들에서의 평면들을 기준 좌표계 상으로 변환하여 하나의 센서 프레임에서의 평면들로 병합하는 평면 병합 모듈(260)을 더 포함하여 구성된다. 여기서, 위치 관계 설정 모듈(230)은, 평면들이 병합된 센서 프레임들의 위치 관계들을 다시 설정한다. 위치 보정 모듈(240)은, 다시 설정된 위치 관계들을 최적화하여 상기 평면들이 병합된 센서 프레임들의 위치를 보정할 수 있다. 지도 생성 모듈(250)은, 상기 평면들이 병합된 센서 프레임들의 보정된 위치들을 이용하여 상기 3차원 지도를 생성한다.

도 11 및 도 15에 도시한 바와 같이, 평면 병합 모듈(260)은, 센서 프레임이 일정 이상 누적될 경우, 인접한 평면들을 병합하여 하나의 프레임 상의 평면들로 변환한다. 우선 모든 센서 프레임에 속한 평면들을 기준 좌표계 상으로 변환한다. 이전 시점까지의 정합되었던 평면들을 집합화하여 각각의 집합을 병합하여 하나의 평면으로 만든다. 도 16에 도시한 바와 같이, 새로운 병합된 센서 프레임이 생성되면 이전의 병합된 프레임들과 정합한다. 새로 생성된 j 번째 센서 프레임과 이전의 i 번째 센서 프레임 사이의 상대적 위치관계의 추정값에 대한 가우시안 분포(T_o, C_To)는 직전 센서 프레임에서 구해진 분포를 이용해 구할 수 있다.

도 3을 참조하면, 다른 실시 예에 따른 이동 로봇은, 주 바퀴(410)를 회전시키는 소정의 휠 모터를 구비하고, 상기 휠 모터를 구동하여 이동 로봇 본체를 이동시키는 구동 유닛(400)과, 상기 주 바퀴에 연결되어 상기 주 바퀴의 회전수를 감지하는 휠 센서(500)와, 상기 본체의 이동에 따라 일정 시간 간격으로 센서 프레임들의 3차원 거리 이미지들을 획득하는 3차원 거리 센서(100)와, 상기 3차원 거리 이미지들로부터 하나 이상의 평면을 추출하고 평면들을 이용하여 이동 로봇의 위치를 인식하는 제어 유닛(200)을 포함하여 구성된다.

구동 유닛(500)은 바퀴들을 회전시키는 소정의 휠 모터(Wheel Motor)를 구비하여, 휠 모터를 구동함으로써 이동 로봇을 이동시킨다. 상기 바퀴는 주 바퀴와 보조 바퀴를 구분될 수 있다. 휠 모터는 각각 주 바퀴에 연결되어 주 바퀴가 회전하도록 하고, 휠 모터는 서로 독립적으로 작동하며 양방향으로 회전이 가능하다. 또, 이동 로봇은 배면에 하나 이상의 보조 바퀴를 구비하여 본체를 지지하고, 본체의 하면과 바닥면 사이의 마찰을 최소화하고 이동 로봇의 이동이 원활하도록 할 수 있다.

휠 센서(500)는 좌, 우측의 주 바퀴에 연결되어 주 바퀴의 회전수를 감지한다. 일 예로, 휠 센서는 로터리 엔코더(Rotary Encoder)일 수 있다. 로터리 엔코더는 이동 로봇이 이동할 때, 좌측과 우측의 주바퀴의 회전수를 감지하여 출력한다. 제어 유닛은 회전수를 이용하여 좌, 우측 바퀴의 회전 속도를 연산할 수 있다. 이동 로봇이 평면 추출을 수행한 후, 이전에 얻어진 평면과의 정합을 통하여 이전 센서 프레임과의 상대 위치를 예측한다. 또, 이동 로봇은 주행하면서 휠 센서를 이용하여 대략적인 위치를 예측할 수 있다. 휠 센서의 정보는 부정확하므로 이동 로봇은 평면 특징점을 활용하여 보정하게 된다. 이동 로봇은 휠 센서의 정보를 이용하여 두 센서 프레임 사이의 평면을 정합하게 되고, 정합 결과를 근거로 두 센서 프레임 사이의 최적의 상대 위치를 계산한다.

3차원 거리 센서(100)와, 제어 유닛(200)에 대한 설명은 일 실시 예에서의 설명에 갈음하고 이하 생략한다.

상기 이동 로봇은 3차원 거리 이미지, 평면, 위치 등을 임시로 아니면 지속적으로 저장하는 저장 유닛(300)을 더 포함할 수 있다. 또, 저장 유닛(300)은 이동 로봇을 제어(구동)하는 제어 프로그램 및 그에 따른 데이터를 더 저장할 수 있다. 저장 유닛(300)은, 램(RAM)의 형태를 가질 수 있고, 또는 롬(ROM), 플래시 메모리(Flash Memory) 등의 비휘발성 메모리(Non-Volatile Memory, NVM, NVRAM)의 형태로 구성될 수 있다.

도 4를 참조하면, 상기 이동 로봇은, 상방 또는 전방에 구비되고, 주변을 촬영하여 영상 정보를 획득하는 영상 카메라(600)를 더 포함하여 구성될 수 있다. 영상 카메라(600)는 전방이나 상방을 향하도록 설치된다. 설치 위치는 로봇의 크기, 형태 등에 따라 달라질 수 있다. 영상 카메라(600)는 일정 해상도 이상의 CCD 카메라, CMOS 카메라 등일 수 있다. 영상 카메라(600)는 필요에 따라 렌즈를 구비할 수 있다. 제어 유닛은 영상 정보를 이용하여 로봇의 위치를 계산할 수 있다. 계산된 위치를 이용하여 상기 휠 센서를 대신하거나, 또는 휠 센서의 위치 정보와 함께, 이동 로봇은 두 센서 프레임 사이의 평면을 정합하게 되고, 정합 결과를 근거로 두 센서 프레임 사이의 최적의 상대 위치를 계산한다.

도 5를 참조하면, 일 실시 예에 따른 이동 로봇의 제어 방법은, 일정 시간 간격으로 센서 프레임들의 3차원 거리 이미지들을 획득하는 거리 이미지 획득 단계(S100)와, 상기 3차원 거리 이미지들에 대한 거리 이미지 정보를 이용하여 각 시점에서의 3차원 거리 이미지로부터 하나 이상의 평면을 추출하는 평면 추출 단계(S200)와, 상기 평면들의 유사도를 근거로 상기 평면들을 정합하는 평면 정합 단계(S300)와, 상기 평면들의 정합 결과를 근거로 상기 센서 프레임들의 위치 관계들을 설정하는 단계(S400)를 포함하여 구성된다. 이하 장치의 구성은 도 1 내지 도 4를 참조한다.

먼저 이동 로봇은 KINECT (RGB-D 센서), TOF (Structured Light sensor), stereo camera 등과 같은 3차원 거리 센서를 이용하여 거리 이미지를 획득한다(S100). 여기서, 일정 시간은 센서의 종류 및 성능에 따라 달라질 수 있는데, 예를 들어 30 frame/sec로 3차원 거리 이미지들을 획득한다. 그런 다음, 이동 로봇은 3차원 거리 이미지로부터 각 센서 프레임에서의 하나 이상의 평면들을 추출한다(S200).

도 6을 참조하면, 상기 평면 추출 단계(S200)는, 상기 3차원 거리 이미지들의 픽셀들 각각에 대한 수직 벡터를 검출하는 수직 벡터 검출 과정(S210)을 포함하여 구성된다. 도 7에 도시한 바와 같이, 이동 로봇은 3차원 거리 이미지의 각 픽셀에 대하여 수직 벡터를 검출한다(S210). 수직 벡터를 검출하고자 하는 픽셀 포인트 (P_C) 근방으로 네 개의 인접한 픽셀 (P₀ ~ P₃) 를 설정한다. 이때 인접 픽셀과의 거리는 센서의 종류와 픽셀 해상도에 의해 실험적으로 결정한다. 중앙 픽셀을 포함하는 네 개의 삼각형에 대응되는 3차원 포인트 좌표를 포인트 클라우드로부터 가져와서 네 개의 수직 벡터를 계산한다. 또, 이동 로봇은 곡률이 크거나 주위 픽셀에 대하여 불연속인 픽셀을 에지로 검출한다(S210).

또, 평면 추출 단계(S200)는, 일정 범위 내의 수직 벡터를 갖는 픽셀들로 이루어진 픽셀 집합을 추출하는 픽셀 집합 추출 과정(S220)을 더 포함하여 구성된다. 그런 다음, 도 8에 도시한 바와 같이, 이동 로봇은 에지가 아닌 픽셀에 대하여 세그멘테이션(segmentation)하여 픽셀 집합을 추출한다(S220). 이때, 세그멘테이션 방식으로 flood fill 방식 등을 사용할 수 있다. 특정 픽셀 위치에서 세그멘테이션이 시작되면, 파장이 진행되듯이 영역을 확장하며 수직 벡터의 방향이 유사한 셀들을 같은 픽셀 ㅈ집합으로 구분하게 된다. 이때, 이미 세그멘테이션된 픽셀, 에지 픽셀, 수직 벡터 각도차이가 큰 픽셀을 만나게 되면 영역 확장이 제한된다. 시작 픽셀의 수직 벡터가 기준 벡터로 사용이 되며, 새로운 픽셀이 추가될 때마다 수직 벡터의 이동 평균을 구하여 기준 벡터를 수정한다. 도 8에서, a는 이미 세그멘테이션된 픽셀, s는 세그멘테이션 시작 픽셀, b는 새로 세그멘테이션된 픽셀, e는 에지 픽셀, p는 수직 벡터 각도 차이가 큰 픽셀을 의미하고, 표시되지 아니한 픽셀들은 세그멘테이션 안된 픽셀들을 나타낸다. 후술하는 바와 같이, 이동 로봇은 평면 파라미터 추출 및 외곽선 추출까지 한 다음, 픽셀 집합으로 세그멘테이션이 되지 아니한 픽셀들, 즉 포인트들이 존재하는지 판단하고(S250), 픽셀들이 존재하는 경우에 다시 픽셀 집합 추출 과정을 반복한다.

평면 추출 단계(S200)는, 상기 픽셀 집합 내의 픽셀들에 대응하는 상기 거리 이미지 정보를 근거로 평면을 표현하는 평면 파라미터를 추출하는 평면 파라미터 추출 과정(S230)을 더 포함하여 구성된다. 도 9에 도시한 바와 같이, 이동 로봇은 세그멘테이션된 픽셀들, 즉 픽셀 집합과 대응하는 포인트 클라우드에 대해 영상 처리 기법을 적용하여 평면의 초기 모델을 생성한다. 여기서, 영상 처리 기법으로는 RANSAC (RANdom SAmple Consensus) 등을 사용할 수 있다. 이동 로봇은, 평면에 수직한 벡터를 표현하기 위한 두 개의 각도 파라미터 (α, β)와, 평면의 원점으로부터의 수직 거리 (d)와 이들의 에러 분산(variance)을 이용하여 평면을 표현한다. 추가적으로 평면의 범위를 표현하기 위해서 평면을 구하기 위해 사용된 픽셀 집합에 대응되는 3차원 포인트들의 가우시안 분포를 사용할 수 있다. 이때, 전체 픽셀들을 모두 사용하지 않고 RANSAC 등을 이용하여 일부의 픽셀들을 이용하여 초기 파라미터 값을 생성할 수 있다.

또, 평면 추출 단계(S200)는, 일정 개수의 픽셀들로 이루어진 외곽선을 추출하는 외곽선 추출 과정(S240)을 더 포함하여 구성된다. 이동 로봇은, 소수의 포인트들로 구성된 다각형의 외곽선을 추출한다. 먼저 거리 이미지의 픽셀 집합에서 최 외곽에 있는 포인트 한 점을 잡아 외곽선을 따라가며 순차적으로 거리 픽셀에 대응되는 3차원 포인트를 샘플링한다. 처음 위치로 돌아올 때까지 샘플링을 계속한다. 이 과정을 통해 매우 효율적으로 최 외곽 포인트 집합을 구할 수 있다.

도 10에 도시한 바와 같이, 새로 생성된 j 번째 프레임과 이전의 i 번째 프레임 사이의 상대적 위치관계의 추정값에 대한 가우시안 분포(T_o, C_To)은 이동 로봇의 이동 정보와 직전 프레임에서 구해진 분포를 이용해 구할 수 있다. 이 정보를 이용하면 j번째 프레임을 i 번째 프레임 상으로 변환할 수 있다. 두 개의 평면이 서로 유사한지를 판단하기 위해 이동 로봇은 각도, 거리, 범위 등 평면 파라미터들에 대해 독립적으로 유사도를 계산한다. 이동 로봇은 mahalanobis 거리를 이용할 수 있다. 이동 로봇은 계산한 유사도가 일정 기준 값보다 클 경우(mahalanobis 거리가 기준 거리보다 작은 경우)에, 두 평면을 정합 후보로 설정한다. 하나의 평면이 다른 프레임의 여러 개의 평면과 중복 정합될 경우에, 이동 로봇은, 정확도가 가장 높은 정합을 선택한다(S300). 위치 관계 설정 모듈(230)은 모든 평면에 대한 정합이 완료되면, 두 센서 프레임 사이의 상대적 위치 관계에 대한 가우시안 분포(T_c, C_Tc)를 구하게 된다(S400).

상기 제어 방법은, 상기 위치 관계들을 근거로 상기 센서 프레임들의 위치를 보정하는 위치 보정 단계(S800)를 더 포함하여 구성된다. 또, 상기 제어 방법은, 상기 보정된 센서 프레임들의 위치들을 이용하여 3차원 지도를 생성하는 지도 생성 단계(S900)를 더 포함하여 구성된다.

이동 로봇은, 상기 위치 관계들을 이용하여 상기 센서 프레임들의 위치를 보정한다(S800). 도 17에 도시한 바와 같이, 각 센서 프레임 사이의 위치 관계들을 이용하여 비용 함수를 정의하고, 에러를 최소화하는 센서 프레임들의 위치를 검출하여 위치를 보정한다(S800). 그런 다음, 이동 로봇은, 보정된 센서 프레임들의 위치들을 이용하여 3차원 지도를 생성할 수 있다(S900).

도 5를 다시 참조하면, 상기 제어 방법은, 복수의 센서 프레임들에서의 평면들을 기준 좌표계 상으로 변환하여 하나의 센서 프레임에서의 평면들로 병합하는 평면 병합 단계(S600)를 더 포함하여 구성된다. 여기서, 상기 평면 병합 단계는, 상기 병합된 평면들을 이용하여 지역 지도를 생성하는 단계일 수 있다.

상기 제어 방법은, 상기 지역 지도들 사이의 위치 관계들을 설정하는 지역 지도 위치 관계 설정 단계(S700)와, 설정된 상기 지역 지도들의 위치 관계들을 최적화하여 상기 지역 지도들의 위치를 보정하는 지역 지도 위치 보정 단계(S800)를 더 포함하여 구성된다. 여기서, 상기 지도 생성 단계(S900)는, 상기 지역 지도들의 보정된 위치들을 이용하여 상기 3차원 지도를 생성하는 단계일 수 있다.

도 11 및 도 15에 도시한 바와 같이, 이동 로봇은, 센서 프레임이 일정 이상 누적될 경우(S500), 인접한 평면들을 병합하여 하나의 프레임 상의 평면들로 변환한다(S600). 우선 모든 센서 프레임에 속한 평면들을 기준 좌표계 상으로 변환한다. 이전 시점까지의 정합되었던 평면들을 집합화하여 각각의 집합을 병합하여 하나의 평면으로 만든다. 도 16에 도시한 바와 같이, 이동 로봇은 새로운 병합된 센서 프레임이 생성되면 이전의 병합된 프레임들과 정합한다. 새로 생성된 j 번째 센서 프레임과 이전의 i 번째 센서 프레임 사이의 상대적 위치관계의 추정값에 대한 가우시안 분포(T_o, C_To)는 직전 센서 프레임에서 구해진 분포를 이용해 구할 수 있다(S700).

이상 설명한 바와 같이, 본 발명의 실시 예들에 따른 이동 로봇 및 이의 제어 방법은 3차원 거리 센서를 이용하여 위치를 인식하거나 또는 실내 지도를 생성할 수 있다. 본 발명의 실시 예들은 3차원 거리 센서를 이용하고, 3차원 거리 이미지들로부터 하나 이상의 평면을 추출하고 평면들을 정합함으로써 위치를 인식하거나 또는 3차원 지도를 생성할 수 있다. 본 발명의 실시 예들은 3차원 거리 센서의 감지 값들을 이용하여 센서 프레임 사이의 상대적인 위치 관계를 계산하고, 계산 결과를 근거로 3차원 지도를 생성할 수 있다.

100: 3차원 거리 센서 200: 제어 유닛
300: 저장 유닛 400: 구동 유닛
500: 휠 센서 600: 영상 카메라

Claims (20)

1. 일정 시간 간격으로 센서 프레임들의 3차원 거리 이미지들을 획득하는 3차원 거리 센서; 및
   상기 3차원 거리 이미지들로부터 하나 이상의 평면을 추출하고 평면들을 정합하며 3차원 지도를 생성하는 제어 유닛;을 포함하고,
   상기 제어 유닛은,
   상기 3차원 거리 이미지들에 대한 거리 이미지 정보를 이용하여 각각의 3차원 거리 이미지들로부터 상기 하나 이상의 평면을 추출하는 평면 추출 모듈을 포함하고,
   상기 평면 추출 모듈은,
   상기 3차원 거리 이미지들의 픽셀들 각각에 대한 수직 벡터를 검출하는 수직 벡터 검출부;
   일정 범위 내의 수직 벡터를 갖는 픽셀들로 이루어진 픽셀 집합을 추출하는 픽셀 집합 추출부;
   상기 픽셀 집합 내의 픽셀들에 대응하는 상기 거리 이미지 정보를 근거로 평면을 표현하는 평면 파라미터를 추출하는 평면 파라미터 추출부; 및
   일정 개수의 픽셀들로 이루어진 외곽선을 추출하는 외곽선 추출부;를 포함하는 것을 특징으로 하는 이동 로봇.
2. 제1 항에 있어서,
   상기 제어 유닛은,
   상기 평면들의 유사도를 근거로 상기 평면들을 정합하는 평면 정합 모듈; 및
   상기 평면들의 정합 결과를 근거로 상기 센서 프레임들의 위치 관계들을 설정하는 위치 관계 설정 모듈;을 포함하는 것을 특징으로 하는 이동 로봇.
3. 제2 항에 있어서,
   상기 제어 유닛은,
   상기 위치 관계들을 이용하여 상기 센서 프레임들의 위치를 보정하는 위치 보정 모듈;을 더 포함하는 것을 특징으로 하는 이동 로봇.
4. 제3 항에 있어서,
   상기 제어 유닛은,
   상기 보정된 센서 프레임들의 위치들을 이용하여 상기 3차원 지도를 생성하는 지도 생성 모듈;을 더 포함하는 것을 특징으로 하는 이동 로봇.
5. 제4 항에 있어서,
   상기 제어 유닛은,
   복수의 센서 프레임들에서의 평면들을 기준 좌표계 상으로 변환하여 하나의 센서 프레임에서의 평면들로 병합하는 평면 병합 모듈;을 더 포함하는 것을 특징으로 하는 이동 로봇.
6. 제5 항에 있어서,
   상기 위치 관계 설정 모듈은, 평면들이 병합된 센서 프레임들의 위치 관계들을 다시 설정하고,
   상기 위치 보정 모듈은, 다시 설정된 위치 관계들을 최적화하여 상기 평면들이 병합된 센서 프레임들의 위치를 보정하는 것을 특징으로 하는 이동 로봇.
7. 제6 항에 있어서,
   상기 지도 생성 모듈은, 상기 평면들이 병합된 센서 프레임들의 보정된 위치들을 이용하여 상기 3차원 지도를 생성하는 것을 특징으로 하는 이동 로봇.
8. 삭제
9. 제1 항에 있어서,
   주 바퀴에 연결되어 주 바퀴의 회전수를 감지하는 휠 센서;를 더 포함하는 이동 로봇.
10. 제1 항에 있어서,
    상방 또는 전방에 구비되고, 주변을 촬영하여 영상 정보를 획득하는 영상 카메라;를 더 포함하는 이동 로봇.
11. 삭제
12. 삭제
13. 삭제
14. 삭제
15. 삭제
16. 삭제
17. 삭제
18. 삭제
19. 삭제
20. 삭제

Images