KR101961171B1

KR101961171B1 - 실내 환경에서 이동하는 로봇의 전역적 자기 위치 추정 시스템 및 이를 이용한 전역적 자기 위치 추정 방법

Info

Publication number: KR101961171B1
Application number: KR1020170132937A
Authority: KR
Inventors: 박성기; 정호원
Original assignee: 한국과학기술연구원
Priority date: 2017-10-13
Filing date: 2017-10-13
Publication date: 2019-03-22

Abstract

실내 환경에서 이동하는 로봇의 전역적 자기 위치 추정 시스템 및 이를 이용한 전역적 자기 위치 추정 방법에서, 상기 로봇의 자기 위치 추정 시스템은 노드 선택부, 영상 획득부, 거리정보 획득부, 특징점 추출부, 특징 추출부, 기술자 저장부, 매칭부 및 로봇 위치 추정부를 포함한다. 상기 노드 선택부는 특정 공간 지도로부터 노드를 선택한다. 상기 영상 획득부는 상기 선택된 노드들 각각, 및 로봇의 자기 위치에서 전방향 영상을 획득한다. 상기 거리정보 획득부는 상기 선택된 노드 각각, 및 로봇의 자기 위치에서 전방향 거리 정보를 획득한다. 상기 특징점 추출부는 상기 획득된 영상에서 특징점을 추출한다. 상기 특징 추출부는 상기 거리 정보로부터 상기 추출된 특징점의 특징을 추출한다. 상기 기술자 저장부는 상기 추출된 특징을 각 노드, 및 로봇의 자기 위치에서의 공간 표상 기술자(descriptor)로 각각 저장한다. 상기 매칭부는 상기 로봇의 자기 위치에서의 공간 표상 기술자와, 상기 노드 각각에서의 공간 표상 기술자를 매칭하여 상기 로봇의 위치에 해당되는 후보 노드들을 선정한다. 상기 로봇 위치 추정부는 상기 매칭된 후보 노드들 중 가장 유사한 노드를 선택하여 상기 로봇의 위치로 추정한다.

Description

실내 환경에서 이동하는 로봇의 전역적 자기 위치 추정 시스템 및 이를 이용한 전역적 자기 위치 추정 방법{SELF POSITION DETECTING SYSTEM OF INDOOR MOVING ROBOT AND METHOD FOR DETECTING SELF POSITION USING THE SAME}

본 발명은 로봇의 전역적 자기 위치 추정 시스템 및 이를 이용한 전역적 자기 위치 추정 방법에 관한 것으로, 더욱 상세하게는 실내 환경에서 이동하는 로봇이 실내 환경에서 발견되는 정보를 사용하여 스스로의 위치를 정확하게 추정할 수 있는 로봇의 전역적 자기 위치 추정 시스템 및 이를 이용한 전역적 자기 위치 추정 방법에 관한 것이다.

로봇 기술의 발전에 따라, 지능형 로봇에 대한 연구도 활발하게 이루어지고 있는데, 이러한 지능형 로봇이 실생활 속에서 다양한 서비스를 제공하거나 필요한 업무를 수행하기 위해서는 로봇 자신이 위치한 환경을 자유롭게 이동할 수 있는 자율주행기술이 필수적이다.

이러한 자율주행기술을 구현하기 위해서는, 특히, 단순히 공간에 대한 지도 정보만 입력된 상태에서 해당 공간에서 로봇의 스스로의 위치에 대한 사전 정보 없이 해당 공간상에서 자신의 위치를 파악하는 소위, 전역적 자기 위치 추정기술이 필요하며, 특히 GPS를 사용할 수 없는 실내 환경의 경우, 해당 환경에서 획득한 정보만을 이용하여 자기 위치를 추정하는 기술이 구현되어야 한다.

이러한 로봇의 전역적 자기 위치 추정기술과 관련하여, 종래에는, 환경을 구성하는 기하학적 특징, 시각적 텍스쳐(texture), 물체 등과 같은 시각적 정보를 이용하여 지도 정보를 구성하고 이를 바탕으로 현재 위치를 추정하는 기술이 적용되어 왔다.

상기 대표적인 기술로서, 인공표식을 이용한 대한민국 등록특허 제10-052691호, 천장 영상에서의 윤곽을 특징점으로 사용한 대한민국 등록특허 제10-1540666호 등이 있다.

그러나, 실내 환경과 같이 유사한 패턴들이 반복되거나 특징적인 정보들이 존재하지 않는 환경이나 공간에서는 시각적 정보를 획득하여 지도 정보를 구성하는 것이 어렵기 때문에 로봇이 자기 위치를 추정하는 종래 기술이 적용되는 것에는 한계가 있다.

대한민국 등록특허 제10-052691호 대한민국 등록특허 제10-1540666호

이에, 본 발명의 기술적 과제는 이러한 점에서 착안된 것으로 본 발명의 목적은 유사 패턴이 반복되는 실내 환경에서 이동하는 로봇이 보다 정확하고 효과적으로 자기 위치 추정을 수행할 수 있는 로봇의 전역적 자기 위치 추정 시스템에 관한 것이다.

또한, 본 발명의 다른 목적은 상기 로봇의 전역적 자기 위치 추정 시스템을 이용한 전역적 자기 위치 추정방법에 관한 것이다.

상기한 본 발명의 목적을 실현하기 위한 일 실시예에 따른 로봇의 전역적 자기 위치 추정 시스템은 노드 선택부, 영상 획득부, 거리정보 획득부, 특징점 추출부, 특징 추출부, 기술자 저장부, 매칭부 및 로봇 위치 추정부를 포함한다. 상기 노드 선택부는 특정 공간 지도로부터 노드를 선택한다. 상기 영상 획득부는 상기 선택된 노드들 각각, 및 로봇의 자기 위치에서 전방향 영상을 획득한다. 상기 거리정보 획득부는 상기 선택된 노드 각각, 및 로봇의 자기 위치에서 전방향 거리 정보를 획득한다. 상기 특징점 추출부는 상기 획득된 영상에서 특징점을 추출한다. 상기 특징 추출부는 상기 거리 정보로부터 상기 추출된 특징점의 특징을 추출한다. 상기 기술자 저장부는 상기 추출된 특징을 각 노드, 및 로봇의 자기 위치에서의 공간 표상 기술자(descriptor)로 각각 저장한다. 상기 매칭부는 상기 로봇의 자기 위치에서의 공간 표상 기술자와, 상기 노드 각각에서의 공간 표상 기술자를 매칭하여 상기 로봇의 위치에 해당되는 후보 노드들을 선정한다. 상기 로봇 위치 추정부는 상기 매칭된 후보 노드들 중 가장 유사한 노드를 선택하여 상기 로봇의 위치로 추정한다.

일 실시예에서, 상기 특정 공간은 실내 공간일 수 있다.

일 실시예에서, 상기 공간 표상 기술자는, 상기 특징점의 각(angle) 자세(pose), 및 상기 특징점의 근사 거리값을 포함할 수 있다.

일 실시예에서, 상기 매칭부는, 상기 로봇의 자기 위치에서의 특징점에 대한 공간 표상 기술자와, 상기 노드 각각에서의 특징점에 대한 공간 표상 기술자를 매칭하는 매칭 수행부, 상기 매칭된 특징점들에서 이상점(outlier)을 제거하는 이상점 제거부, 및 상기 매칭된 특징점들의 매칭 점수(score)를 기준으로 후보 노드를 선정하는 후보노드 선정부를 포함할 수 있다.

일 실시예에서, 상기 매칭 수행부는, 상기 로봇의 자기 위치에서의 특징점과 상기 노드 각각에서의 특징점의 페어(pair)를 생성하는 페어 생성부, 수퍼픽셀(superpixel) 정보를 이용하여 상기 특징점의 페어를 필터링하는 페어 필터링부, 및 상기 필터링된 특징점의 페어에 대하여 유사도(similarity)를 바탕으로 매칭 페어를 선정하는 매칭페어 선정부를 포함할 수 있다.

일 실시예에서, 상기 매칭페어 선정부는, 상기 특징점의 페어에 대하여 유사성 행렬(affinity matrix)을 생성하고, 생성된 유사성 행렬의 고유값(eigenvalue) 중 가장 큰 고유값에 해당되는 고유벡터(eigenvector)로부터 매칭페어를 선정할 수 있다.

일 실시예에서, 상기 로봇 위치 추정부는, 상기 후보 노드들의 거리 정보를 바탕으로 매칭을 수행하여, 가장 유사한 노드를 선택할 수 있다.

상기한 본 발명의 다른 목적을 실현하기 위한 일 실시예에 따른 로봇의 전역적 자기 위치 추정방법에서, 특정 공간에 대한 지도를 생성하고, 전역적 자기 위치를 추정한다. 상기 지도를 생성하는 단계는, 상기 특정 공간으로부터 노드를 선택하는 단계, 상기 선택된 노드에서 전방향 영상을 획득하는 단계, 상기 획득 영상에서 특징점을 추출하는 단계, 상기 선택된 노드에서 전방향 거리 정보를 획득하는 단계, 상기 추출된 특징점의 특징을 추출하는 단계, 및 상기 특징을 공간 표상 기술자로 저장하는 단계를 포함한다. 상기 전역적 자기 위치를 추정하는 단계는, 로봇의 자기 위치에서 영상 및 거리 정보를 획득하는 단계, 상기 자기 위치에서의 특징 추출을 통해 공간 표상 기술자를 생성하는 단계, 상기 로봇의 자기 위치에서의 특징과 상기 노드에서의 특징을 매칭하여 후보 노드들을 선정하는 단계, 및 상기 후보 노드들 중 가장 유사한 노드를 선택하여 로봇의 위치를 추정하는 단계를 포함한다.

일 실시예에서, 상기 획득 영상에서 특징점을 추출하는 단계는, 상기 획득 영상에서 수직 에지(edge)를 추출하는 단계, 상기 수직 에지와 상기 획득 영상의 광학 수평선(horizontal optical center line)의 접점을 특징점으로 선정하는 단계, 및 상기 특징점 주위에 수퍼픽셀(superpixel)을 생성하는 단계를 포함할 수 있다.

일 실시예에서, 상기 추출된 특징점의 특징을 추출하는 단계는, 상기 특징점의 각(angle) 자세(pose)를 추정하는 단계, 및 상기 특징점의 근사 거리값을 획득하는 단계를 포함할 수 있다.

일 실시예에서, 상기 후보 노드들을 선정하는 단계는, 상기 로봇의 자기 위치에서의 특징에 대한 공간 표상 기술자와, 상기 노드들 각각의 특징에 대한 공간 표상 기술자를 매칭하는 단계, 상기 매칭된 특징점들에서 이상점(outlier)을 제거하는 단계, 및 상기 매칭된 특징점들의 매칭 점수(score)를 기준으로 후보 노드를 선정하는 단계를 포함할 수 있다.

일 실시예에서, 상기 공간 표상 기술자를 매칭하는 단계는, 상기 로봇의 자기 위치에서의 특징점과 상기 노드 각각에서의 특징점의 페어(pair)를 생성하는 단계, 수퍼픽셀 정보를 이용하여 상기 특징점들 사이의 거리를 계산하여 페어를 필터링하는 단계, 및 상기 필터링된 페어들에 대하여 유사도(similarity)를 바탕으로 매칭 페어를 선정하는 단계를 포함할 수 있다.

일 실시예에서, 상기 유사도를 바탕으로 매칭 페어를 선정하는 단계는, 상기 필터링된 페어들에 사이의 유사도를 계산하는 단계, 상기 유사도를 바탕으로 유사성 행렬(affinity matrix)을 생성하는 단계, 상기 유사성 행렬의 고유값(eigenvalue) 및 고유벡터(eigenvector)를 연산하는 단계, 상기 고유값 중 가장 큰 고유값에 해당되는 고유벡터를 획득하는 단계, 상기 고유벡터를 이진화하는 단계, 및 상기 고유벡터를 이용하여 매칭된 페어를 선정하는 단계를 포함할 수 있다.

일 실시예에서, 상기 로봇의 위치를 추정하는 단계는, 상기 후보 노드들의 거리 정보를 리딩(reading)하는 단계, 상기 거리 정보를 매칭하는 단계, 및 상기 거리 정보에 대한 매칭 점수를 기준으로 상기 후보 노드들 중 가장 유사한 노드를 선택하는 단계를 포함할 수 있다.

본 발명의 실시예들에 의하면, 실내 환경이나 실내 공간과 같은 유사한 패턴들이 반복되거나 특징적인 정보들이 존재하지 않는 경우에도, 로봇이 자기 위치를 추정할 수 있는 장점이 있다.

특히, 로봇이 스스로 실내 공간의 특징을 공간 표상 기술자로 저장한 후, 자기 위치를 상기 공간 표상 기술자로 저장된 실내 공간 중 어디에 최적으로 매칭되는가를 판단하여, 스스로의 위치를 추정할 수 있으므로, 상대적으로 적은 연산을 통해 자기 위치를 추정할 수 있다.

이 경우, 실내 공간을 노드들을 중심으로 해당 노드에 대한 각(angle)과 거리 정보를 포함하는 공간 표상 기술자로 정의하므로, 종래 실내 공간의 모든 이미지를 저장하여 정의하는 기술과 달리, 노드 중심으로 정의할 수 있어 실내 공간을 보다 효율적으로 정의할 수 있다.

또한, 상기와 같이 정의된 실내 공간에 대하여, 로봇의 자기 위치에 대한 각과 거리 정보를 포함하는 공간 표상 기술자와 상기 각각의 노드를 통해 정의된 공간 표상 기술자를 서로 비교하여 그 유사도가 가장 높은 노드를 선택함으로써, 로봇의 자기 위치를 상대적으로 빠른 연산 시간으로 추정할 수 있다.

이 경우, 수직 에지와 광학 수평선의 접점을 특징점으로 선정하고, 상기 특징점 주위에 수퍼픽셀을 생성하여 특징을 찾아낼 수 있으므로, 특징적인 정보가 상대적으로 적은 실내 공간에 대하여 효과적인 정의가 가능하다.

특히, 유사도가 높은 노드의 선택시, 유사성 행렬 및 상기 유사성 행렬의 고유값과 고유벡터를 연산하는 방법을 적용함으로써, 상대적으로 많은 노드들을 후보군으로 선택하여 연산을 수행할 수 있어 선택된 노드를 통해 자기 위치를 추정하는 경우 정확성을 향상시킬 수 있으며, 연산 시간을 최소화할 수 있는 장점이 있다.

나아가, 영상 정보만으로 유사도가 높은 노드를 선택하는 경우의 부정확성을 개선하기 위해, 후보 노드들의 거리 정보를 추가로 점수화하여 선택된 노드에 대한 정확성을 향상시킬 수 있다.

도 1은 본 발명의 일 실시예에 의한 로봇의 전역적 자기 위치 추정 시스템을 도시한 블록도이다.
도 2는 도 1의 로봇의 전역적 자기 위치 추정 시스템을 이용한 전역적 자기 위치 추정방법을 도시한 흐름도이다.
도 3은 도 2의 특정 공간에 대한 지도 생성 단계를 도시한 흐름도이다.
도 4는 도 3의 획득 영상에서 특징점 추출 단계를 도시한 흐름도이다.
도 5는 도 3의 각 특징점의 특징 추출을 도시한 흐름도이다.
도 6은 도 2의 전역적 자기 위치 추정 단계를 도시한 흐름도이다.
도 7은 도 6의 후보 노드 검색을 통한 매칭 수행 단계를 도시한 흐름도이다.
도 8은 도 7의 로봇의 위치 추정 단계를 도시한 흐름도이다.
도 9는 도 7의 공간 표상 기술자 매칭 수행 단계를 도시한 흐름도이다.
도 10은 도 9의 매칭 페어 선정 단계를 도시한 흐름도이다.
도 11은 도 2의 특정 공간에 대한 지도 생성(global topological map)의 예를 도시한 모식도이다.
도 12a는 도 3의 공간 표상 기술자로서 각 노드에서의 영상 지도(visual layout map)를 도시한 예이고, 도 12b는 도 3의 공간 표상 기술자로서 각 노드에서의 공간 지도(spatial layout map)를 도시한 예이다.
도 13a 내지 도 13c는 도 4의 특징점 추출 단계를 도시한 이미지들이다.
도 14는 도 4의 특징점 주위에 수퍼픽셀을 생성하는 단계를 도시한 이미지들이다.
도 15는 도 5의 특징점의 각 자세 추정 단계를 도시한 예이다.
도 16a는 도 6의 전역적 자기 위치 추정 단계에서 로봇이 획득한 특징점을 도시한 예이고, 도 16b는 도 3의 특정 공간에 대한 지도 생성 단계에서 각 노드의 특징점을 도시한 예이다.
도 17은 도 10의 유사성 행렬 생성 단계에서 생성된 유사성 행렬(affinity matrix)의 예이다.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는 바, 실시예들을 본문에 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다. 제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다.

상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.

본 출원에서, "포함하다" 또는 "이루어진다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다.

도 1은 본 발명의 일 실시예에 의한 로봇의 전역적 자기 위치 추정 시스템을 도시한 블록도이다.

도 1을 참조하면, 본 실시예에 의한 로봇의 전역적 자기 위치 추정 시스템(10)은 노드 선택부(100), 데이터 베이스부(101), 영상 획득부(200), 거리정보 획득부(300), 특징점 추출부(400), 특징 추출부(500), 기술자(descriptor) 저장부(600), 매칭부(700) 및 로봇위치 추정부(900)를 포함한다.

상기 데이터 베이스부(101)에는, 로봇이 위치하는 특정 공간, 예를 들어 실내 공간의 지도(map) 정보가 저장된다.

상기 노드 선택부(100)는 상기 실내 공간의 지도 정보 등과 같은, 특정 공간의 지도로부터, 특정 노드(node)를 선택한다. 이 경우, 노드는 복수개가 선택되며, 각각의 노드에 대한 정보가 후술되는 기술자 저장부(600)에 저장되어, 상기 실내 공간과 같은 특정 공간에 대한 지도가 생성된다.

한편, 본 실시예에서의 상기 로봇의 전역적 자기 위치 추정 시스템(10)에서는, 우선 로봇이 위치하는 특정 공간에 대하여 복수의 노드들을 선택하고, 해당 노드에서의 기술자를 정의하여 특정 공간에 대한 지도를 완성한다. 이 후, 로봇이 특정 위치에 위치하는 경우, 특정 위치에서 정의된 기술자와 상기 특정 공간에 대한 지도, 즉 각각의 노드들에 대하여 정의된 기술자를 서로 비교하여, 로봇의 특정 위치와 가장 유사한 노드를 선정하고 이를 바탕으로 로봇이 위치하는 특정 위치를 추정하는 것을 특징으로 한다.

보다 구체적으로, 상기 영상 획득부(200)는 지도 생성시에는 각각의 선택된 노드에서 전(全)방향 영상을 획득하고, 로봇의 자기 위치 추정시에는 자기 위치에서 전방향 영상을 획득한다. 이를 위해, 상기 영상 획득부(200)는 카메라와 같은 영상 촬영 장치일 수 있다.

상기 거리정보 획득부(300)는 지도 생성시에는 각각의 선택된 노드에서 전(全)방향 거리 정보를 획득하고, 로봇의 자기 위치 추정시에는 자기 위치에서 전방향 거리 정보를 획득한다. 이를 위해, 상기 거리정보 획득부(300)는 거리나 공간 이격 정도를 측정하기 위한 측정 센서(metric sensor)로서, 레이저나 초음파 발신부와 수신부를 포함할 수 있다.

상기 특징점 추출부(400)는 상기 영상 획득부(200)에서 획득된 영상에서 특징점을 추출한다.

상기 특징점은 상기 획득된 영상에서 다양하게 추출될 수 있으며, 이 경우, 상기 특징점의 추출 방법에 대하여는 후술한다.

상기 특징 추출부(500)는 상기 추출된 특징점에서의 특징을 추출하되, 상기 거리정보 획득부(300)에서 획득된 거리 정보를 활용하여 특징을 추출한다.

이 경우, 추출되는 특징은 상기 특징점의 각(angle) 자세(pose), 및 상기 특징점의 근사 거리값을 포함하는 것으로, 이는 곧 공간 표상 기술자로 표시된다. 즉, 상기 추출된 특징은 공간 표상 기술자로 상기 특징점의 각(angle) 자세(pose), 및 상기 특징점의 근사 거리값을 포함한다.

이 경우, 상기 추출된 특징은, 지도 생성시에는 각각의 선택된 노드에서의 특징점에 대하여 추출되고, 로봇의 자기 위치 추정시에는 자기 위치에서의 특징점에 대하여 추출된다.

그리하여, 각각의 선택된 노드에서의 추출된 특징은 모두 상기 기술자(descriptor) 저장부(600)에 저장되며, 이를 통해 상기 특정 공간에 대한 지도가 완성된다.

상기 매칭부(700)는 상기 로봇의 자기 위치에서의 공간 표상 기술자와, 상기 노드 각각에서의 공간 표상 기술자를 매칭하여, 상기 로봇의 위치에 해당되는 후보 노드들을 선정한다.

이 경우, 로봇의 자기 위치에서도 촬영된 영상으로부터 획득되는 특징점들은 복수개가 되므로, 상기 로봇의 자기 위치에서의 공간 표상 기술자도 복수개가 획득된다. 마찬가지로 상기 노드 각각에서의 공간 표상 기술자는 복수개로 정의되므로, 상기 매칭부(700)에서는 복수의 공간 표상 기술자들 사이를 매칭하여, 최적 매칭 결과를 바탕으로 상기 로봇의 위치에 해당되는 후보 노드를 선정하게 된다.

보다 구체적으로, 상기 매칭부(700)는 매칭 수행부(800), 이상점(outlier) 제거부(720) 및 후보노드 선정부(730)를 포함한다.

상기 매칭 수행부(800)는 상기 로봇의 자기 위치에서의 특징점에 대한 공간 표상 기술자와, 상기 노드 각각에서의 특징점에 대한 공간 표상 기술자를 매칭하고, 상기 이상점 제거부(720)는 상기 매칭된 특징점들에서의 이상점(outlier)을 제거하여 상대적으로 높은 연관도를 갖는 매칭된 특징점들만 선택한다.

또한, 상기 후보노드 선정부(730)는 상기 매칭된 특징점들의 매칭 점수(score)를 기준으로 후보 노드를 선정한다.

한편, 상기 매칭 수행부(800)는 페어 생성부(810), 페어 필터링부(820) 및 매칭페어 선정부(830)를 포함한다.

즉, 상기 페어 생성부(810)에서는 상기 로봇의 자기 위치에서의 특징점과 상기 노드 각각에서의 특징점의 페어(pair)를 생성한다. 이 경우, 생성되는 페어는 상기 각각의 특징점들이 모두 복수개이므로 다수의 페어들이 생성된다.

상기 페어 필터링부(820)는 수퍼픽셀(superpixel) 정보를 이용하여 상기 특징점의 페어를 필터링한다. 즉, 상기 로봇의 자기 위치에서의 특징점 주변 및 각 노드의 특징점 주변에 생성된 수퍼픽셀들을 서로 비교하여 유사한 수퍼픽셀을 갖는 특징점의 페어들만 선정하여 상기 다수의 페어들 중 일부를 필터링한다.

상기 매칭페어 선정부(830)는 상기 필터링한 후의 특징점의 페어들에 대하여 유사도(similariy)를 바탕으로 매칭 페어를 선정한다.

보다 구체적으로, 상기 매칭페어 선정부(830)는 상기 특징점의 페어에 대하여 유사성 행렬(affinity matrix)을 생성하고, 생성된 유사성 행렬의 고유값(eigenvalue) 중 가장 큰 고유값에 해당되는 고유벡터(eigenvector)로부터 매칭페어를 선정한다. 이와 관련한 상세한 매칭페어 선정의 방법에 대하여는 후술한다.

이상과 같이, 상기 매칭부(700)에서는 상기 로봇의 자기 위치에서의 공간 표상 기술자와, 상기 노드 각각에서의 공간 표상 기술자를 매칭하여, 상기 로봇의 위치에 해당되는 후보 노드들을 선정한다.

그리고, 상기 로봇위치 추정부(900)는 상기 후보 노드들의 거리 정보를 바탕으로 매칭을 수행하여, 가장 유사한 노드를 선택한다. 그리하여, 상기 가장 유사한 노드에 상기 로봇이 위치하고 있다고 상기 로봇 위치를 추정하게 된다.

이하에서는, 상기 로봇의 전역적 자기 위치 추정 시스템(10)을 이용한 로봇의 전역적 자기 위치 추정 방법에 대하여 도면을 참조하여 상세히 설명한다.

도 2는 도 1의 로봇의 전역적 자기 위치 추정 시스템을 이용한 전역적 자기 위치 추정방법을 도시한 흐름도이다. 도 3은 도 2의 특정 공간에 대한 지도 생성 단계를 도시한 흐름도이다. 도 4는 도 3의 획득 영상에서 특징점 추출 단계를 도시한 흐름도이다. 도 5는 도 3의 각 특징점의 특징 추출을 도시한 흐름도이다. 도 6은 도 2의 전역적 자기 위치 추정 단계를 도시한 흐름도이다. 도 7은 도 6의 후보 노드 검색을 통한 매칭 수행 단계를 도시한 흐름도이다. 도 8은 도 7의 로봇의 위치 추정 단계를 도시한 흐름도이다. 도 9는 도 7의 공간 표상 기술자 매칭 수행 단계를 도시한 흐름도이다. 도 10은 도 9의 매칭 페어 선정 단계를 도시한 흐름도이다. 도 11은 도 2의 특정 공간에 대한 지도 생성(global topological map)의 예를 도시한 모식도이다. 도 12a는 도 3의 공간 표상 기술자로서 각 노드에서의 영상 지도(visual layout map)를 도시한 예이고, 도 12b는 도 3의 공간 표상 기술자로서 각 노드에서의 공간 지도(spatial layout map)를 도시한 예이다. 도 13a 내지 도 13c는 도 4의 특징점 추출 단계를 도시한 이미지들이다. 도 14는 도 4의 특징점 주위에 수퍼픽셀을 생성하는 단계를 도시한 이미지들이다. 도 15는 도 5의 특징점의 각 자세 추정 단계를 도시한 예이다. 도 16a는 도 6의 전역적 자기 위치 추정 단계에서 로봇이 획득한 특징점을 도시한 예이고, 도 16b는 도 3의 특정 공간에 대한 지도 생성 단계에서 각 노드의 특징점을 도시한 예이다. 도 17은 도 10의 유사성 행렬 생성 단계에서 생성된 유사성 행렬(affinity matrix)의 예이다.

우선, 도 2를 참조하면, 상기 로봇의 전역적 자기 위치 추정 방법에서는, 상기 로봇은 실내 공간과 같은 특정 공간에 대한 지도를 생성한다(단계 S100). 그리고, 상기 생성된 지도를 바탕으로, 전역적 자기 위치를 추정한다(단계 S200).

보다 구체적으로, 도 2 및 도 3을 참조하면, 상기 특정 공간에 대한 지도를 생성하는 단계(단계 S100)에서는, 우선, 상기 특정 공간으로부터 노드(node)를 선택한다(단계 S110). 이 경우, 상기 노드는 상기 로봇이 위치하거나 이동하는 실내 공간과 같은 특정 공간에 위치하는 복수의 노드들 중에서 선택되는 임의의 노드이다.

이 후, 상기 선택된 각각의 노드에서 전방향 영상을 획득한다(단계 S120). 이 경우, 획득되는 영상은 각각의 노드에서 촬영되는 영상으로 상기 영상 획득부(200)에 의해 촬영될 수 있다.

이 후, 상기 획득된 영상으로부터 특징점을 추출한다(단계 S130).

보다 구체적으로 도 4, 및 도 13a 내지 도 13c를 참조하면, 상기 특징점을 추출하는 단계에서는, 우선, 상기 획득되는 영상으로부터 에지(edge)를 생성(도 13a)하고, 상기 생성된 에지 중 수직 에지를 추출한다(단계 S131, 도 13b). 그리고, 상기 생성된 수직 에지들과, 상기 획득되는 영상의 광학 수평선(horizontal optical center line)의 접점을 특징점으로 선정한다(단계 S132, 도 13c). 그리하여, 상기 획득된 영상으로부터는 복수의 특징점들이 추출될 수 있다.

이 후, 도 14에 도시된 바와 같이, 상기 특징점을 중심으로 상기 특징점 주위에 수퍼픽셀(superpixel)을 생성한다(단계 S133).

예를 들어, 상기 수퍼픽셀의 생성에 있어서는, 상기 수직 에지들과 상기 수평선이 만나는 점인 특징점을 중심으로, 상기 수평선을 x축, 상기 수직 에지의 연장선을 y축으로 가정할 때, x-y 축에 의해 구분되는 4분면 각각의 분면에서의 상기 획득된 영상으로부터 소정 크기의 픽셀이 수퍼픽셀로 생성될 수 있다.

이상과 같이, 획득된 영상으로부터 특징점이 추출되며, 상기 특징점 주위에 수퍼픽셀을 생성함으로써, 상기 특징점을 추출하게 된다.

이 후, 다시 도 3을 참조하면, 각 노드에서 전방향 거리 정보를 상기 거리정보 획득부(300)를 통해 획득한다(단계 S140). 그리하여, 상기 각 노드에서의 전방향의 영상 정보 및 거리 정보가 모두 획득된다.

이 후, 상기 각각의 추출된 특징점들의 특징을 추출한다(단계 S150).

보다 구체적으로, 상기 추출된 특징점들의 특징을 추출하는 단계는, 도 5에 도시된 바와 같이, 우선 추출된 각 특징점들의 각(angle) 자세(pose)를 추정한다(단계 S151).

즉, 도 15에 도시된 바와 같이, 각 특징점에 대하여 각을 추정하여, 각 특징점의 특징을 상기 추정된 각 자세로 정의할 수 있다.

이 후, 도 5에 도시된 바와 같이, 상기 각 특징점의 근사 거리값을 획득한다(단계 S152). 이 경우, 각 특징점의 근사 거리값은 상기 거리정보 획득부(300)로부터 획득된 거리정보를 바탕으로 획득될 수 있다.

이와 같이, 상기 특징점들 각각의 각 자세를 추정하고, 근사 거리값을 획득함으로써, 상기 특징점들의 특징을 추출할 수 있다.

이 후, 다시 도 3을 참조하면, 상기 추출된 특징점들의 특징을 공간 표상 기술자로 저장한다(단계 S160).

이상과 같이, 특정 공간에 대한 지도를 생성함에 있어, 특정 공간상의 추출된 특징점들 각각의 특징을 공간 표상 기술자로서 저장하여 지도 생성을 완성한다. 그리하여, 특정 공간에 대한 지도는, 각 노드들에서의 특징점들의 각 자세(angle pose) 및 각 특징점들까지의 근사 거리값으로 정의된다.

즉, 도 12a에 도시된 바와 같이, 각 노드(N_k)에서 특징점들을 중심으로 생성된 수퍼픽셀에 대한 각 자세가 생성되고, 각 노드에서 특징점들까지의 근사 거리값이 생성되어, 전체 특정 공간에 대한 지도가 생성된다.

그리하여, 특정 공간에 대하여 생성된 지도는, 도 11에 도시된 바와 같이, 복수의 노드들(N_k)이 정의되고, 각각의 노드에서 서로 인접한 노드(N₃, N₈)들 사이의 거리(t_3,8)와 서로 인접한 노드들의 사이의 방향(R_3,8)이 정의되어 표현될 수 있다.

이상과 같이, 특정 공간에 대한 지도가 생성되면, 로봇은 자기 위치에 대하여 추정하게 된다.

보다 구체적으로, 도 6을 참조하면, 우선, 상기 로봇이 위치하는 특정 위치에서의 영상 및 거리 정보를 획득하며(단계 S210), 상기 특정 위치에서의 특징점들을 추출하고, 추출된 특징점들의 특징을 추출하여 공간 표상 기술자를 생성한다(단계 S220).

이 경우, 영상 및 거리 정보의 획득과, 공간 표상 기술자의 생성 단계는, 앞서 특정 공간에 대한 지도 생성 단계에서의 영상 및 거리 정보의 획득 및 공간 표상 기술자의 생성 단계와 동일하다. 다만, 앞선 특정 공간에 대한 지도 생성 단계에서는 특정 공간의 모든 노드들 각각에서 공간 표상 기술자를 생성하였으나, 상기 로봇이 위치하는 특정 위치에서의 공간 표상 기술자의 생성은 로봇의 위치에 따른 특정 노드들로 제한되어 생성되는 차이가 있다.

이 후, 상기 지도 생성에서의 노드들 중, 상기 로봇이 위치하는 특정 위치에서 생성된 공간 표상 기술자와 유사한 노드들을 검색하여, 매칭을 수행한다(단계 S230).

보다 구체적으로, 상기 후보 노드 검색을 통한 매칭을 수행하는 단계(단계 S240)에서는, 도 7을 참조하면, 우선, 공간 표상 기술자들, 즉 생성된 지도의 노드들 각각의 특징점들의 특징에 대한 공간 표상 기술자와 로봇이 자기가 위치하는 특정 위치에서의 특징점들의 특징으로 생성된 공간 표상 기술자들 사이의 매칭을 수행한다(단계 S300).

이 경우, 상기 공간 표상 기술자들 사이의 매칭을 수행하는 단계를 상세히 설명하면 하기와 같다.

즉, 상기 공간 표상 기술자들 사이의 매칭을 수행하는 단계에서는, 우선, 도 9에 도시된 바와 같이, 상기 로봇의 자기 위치에서의 특징점과 상기 생성된 지도의 노드 각각에서의 특징점의 페어(pair)를 생성한다(단계 S310).

이 경우, 상기 로봇의 자기 위치에서의 특징점들도 복수개이며, 생성된 노드 각각에서의 특징점들도 복수개이므로, 상기 특징점의 페어는 다양한 조합으로 생성될 수 있다.

즉, 도 16a에 도시된 바와 같은 로봇의 자기 위치에서 획득된 특징점들(D₁ ^{R}, D₂ ^{R}, D₃ ^{R}...)과, 도 16b에 도시된 바와 같은 생성된 노드 각각에서의 특징점들(D₁ ^{N}, D₂ ^{N}, D₃ ^{N}, D₄ ^{N}...)을 한 개씩 선택하여 특징점의 페어를 생성한다.

이 후, 상기 특징점들의 수퍼 픽셀 정보를 이용하여 거리를 계산하고 페어를 필터링한다(단계 S320).

앞서 설명한 바와 같이, 특징점이 추출되면 상기 특징점을 중심으로 주변 수퍼픽셀 정보를 저장하게 되는데, 상기 특징점의 페어에 대하여 상기 수퍼픽셀 정보, 즉 상기 수퍼픽셀의 각 자세(angle pose)와 근사 거리값의 정보를 서로 비교하여, 상기 특징점 페어에 속하는 한 쌍의 특징점 사이의 거리를 계산하고, 이를 바탕으로 불필요하게 이격된 거리를 갖는 특징점 페어는 필터링하여 제외한다.

이 후, 상기 특징점 페어들 각각에 대하여 유사도(similarity)를 바탕으로 최종 매칭 페어를 선정한다(단계 S330).

이 경우, 상기 매칭 페어를 선정하는 단계(단계 S330)의 경우, 도 10에 도시된 바와 같이, 우선, 상기 특징점 페어들 사이의 유사도(similarity)를 계산한다(단계 S331). 즉, 상기 수퍼픽셀의 정보를 이용하여 특징점 페어들 사이의 유사도를 계산한다.

이 후, 상기 계산된 특징점 페어들 사이의 유사도를 바탕으로 유사성 행렬(affinity matrix)을 생성한다(단계 S332).

이 경우, 상기 유사성 행렬은, 예를 들어, 도 17에 도시된 바와 같이 도출될 수 있다. 즉, 로봇의 자기 위치에서 획득된 특징점들을 a₁, a₂, a₃, ...로 할당하고, 생성된 노드 각각에서의 특징점들을 b₁, b₂, b₃, ...로 할당하면 특징점 페어는 (a₁, b₁), ... 등으로 생성될 수 있으며, 이렇게 생성된 특징점 페어들 사이의 유사성에 대하여 도 17에 도시된 바와 같이 행렬로 그 정도를 나타낼 수 있다.

이 후, 상기 생성된 유사성 행렬의 고유값(eigenvalue) 및 고유벡터(eigenvector)를 연산한다(단계 S333).

이 후, 상기 연산된 고유값 중 가장 큰 고유값에 해당되는 고유벡터를 획득하고(단계 S334), 상기 획득된 고유벡터를 이진화하여(단계 S335), 상기 이진화된 고유벡터를 이용하여 매칭된 페어를 선정한다(단계 S336).

이상과 같이 매칭된 페어를 선정하여, 상기 공간 표상 기술자들 사이의 매칭을 수행한 후, 도 7을 다시 참조하면, 상기 매칭된 특징점들 페어 사이에서 이상점(outlier)을 제거한다(단계 S232). 이 경우, 상기 이상점의 제거는, 이른바, RANSAC을 이용하여 제거할 수 있다.

이 후, 상기 매칭된 특징점 페어들의 매칭 점수(score)를 기준으로 후보 노드를 선정한다(단계 S233).

이 경우, 상기 페어들의 매칭 점수는 상기 유사성 행렬을 통해 표현된 유사도 정도를 바탕으로, 가장 큰 고유값을 가지는 페어들에 대하여 높은 점수를 부여하는 것으로 점수를 할당할 수 있다.

일반적으로 로봇이 획득한 입력 정보와, 각각의 노드가 갖고 있는 정보 모두 전방향, 즉 모든 방향에 대한 정보를 갖고 있으므로, 상기 로봇이 획득한 입력 정보와 노드가 갖는 정보는 이른바 circular pattern 매칭을 수행하여야 한다.

이 경우, 종래 기술에서는, 상기 circular pattern 매칭을 수행하는 경우, 매칭 시작의 기준점을 정할 수 없으므로, 기준점을 매칭하기 위해 가능한 모든 점들을 매칭하여야 하는 번거로움이 있었으며 이에 따른 매칭 시간의 증가의 문제가 있었다.

그러나, 본 실시예에서는, 앞서 설명한 바와 같이 로봇이 자기 위치에서 획득된 특징점들(D₁ ^{R}, D₂ ^{R}, D₃ ^{R}...)과, 생성된 노드 각각에서의 특징점들(D₁ ^{N}, D₂ ^{N}, D₃ ^{N}, D₄ ^{N}...)을 한 개씩 선택하여 특징점의 페어를 생성하여, 상기 특징점들의 수퍼 픽셀 정보를 이용하여 거리를 계산하여 페어를 필터링하고, 이에 대하여 유사도를 바탕으로 최종 매칭 페어를 선정하는 단계를 통해, 매칭을 수행하므로, 매칭 시작의 기준점에 대하여 고려하지 않고 매칭을 수행할 수 있어, 보다 효율적으로 신속하게 매칭을 수행할 수 있는 장점이 있다.

한편, 이상과 같이, 공간 표상 기술자들 사이의 매칭을 수행하여 상기 생성된 지도의 노드들 중 후보 노드들을 선정한 후, 도 6에 도시된 바와 같이, 로봇의 위치를 추정하게 된다(단계 S240).

이 경우, 후보 노드들의 선정은, 상기 생성된 지도의 노드들 중 상기 로봇의 특정 위치에서의 특징점과 유사도가 높은 노드가 선정되는 것으로, 매칭된 페어들의 개수를 기준으로 수 개의 후보 노드를 선정하거나, 또는 상기 매칭 점수를 기준으로 수 개의 후보 노드를 선정할 수도 있다.

이 경우, 상기 로봇의 위치를 추정하는 단계에서는, 보다 구체적으로, 도 8에 도시된 바와 같이, 우선, 상기 후보 노드들의 거리 정보를 리딩한다(단계 S241). 즉, 로봇의 특정 위치에서의 측정된 거리 정보 및 상기 생성된 지도에 대하여 특정 노드에서의 측정된 거리 정보를 리딩(reading)한다.

이 후, 상기 거리 정보를 매칭하여(단계 S242), 가장 근접 거리에 해당되는 후보 노드를 선택하고, 상기 선택된 후보 노드를 가장 유사한 노드로 선정한다(단계 S243).

이상과 같이, 상기 생성된 지도의 노드들 중, 가장 유사한 노드로 선정된 노드에 로봇이 위치하는 것으로 로봇은 자기의 위치를 추정하게 된다(단계 S240).

상기와 같은 본 발명의 실시예들에 의하면, 실내 환경이나 실내 공간과 같은 유사한 패턴들이 반복되거나 특징적인 정보들이 존재하지 않는 경우에도, 로봇이 자기 위치를 추정할 수 있는 장점이 있다.

상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

본 발명에 따른 로봇의 전역적 자기 위치 추정 시스템 및 이를 이용한 전역적 자기 위치 추정 방법은 서비스 로봇내지 지능형 로봇에 사용될 수 있는 산업상 이용 가능성을 갖는다.

10 : 전역적 자기 위치 추정 시스템 100 : 노드 선택부
101 : 데이터 베이스부 200 : 영상 획득부
300 : 거리정보 획득부 400 : 특징점 추출부
500 : 특징 추출부 600 : 기술자 저장부
700 : 매칭부 720 : 이상점 제거부
730 : 후보노드 선정부 800 : 매칭 수행부
810 : 페어 생성부 820 : 페어 필터링부
830 : 매칭페어 선정부 900 : 로봇 위치 추정부

Claims

특정 공간 지도로부터 노드를 선택하는 노드 선택부;
상기 선택된 노드들 각각, 및 로봇의 자기 위치에서 전방향 영상을 획득하는 영상 획득부;
상기 선택된 노드 각각, 및 로봇의 자기 위치에서 전방향 거리 정보를 획득하는 거리정보 획득부;
상기 획득된 영상에서 특징점을 추출하는 특징점 추출부;
상기 거리 정보로부터 상기 추출된 특징점의 특징을 추출하는 특징 추출부;
상기 추출된 특징을 각 노드, 및 로봇의 자기 위치에서의 공간 표상 기술자(descriptor)로 각각 저장하는 기술자 저장부;
상기 로봇의 자기 위치에서의 공간 표상 기술자와, 상기 노드 각각에서의 공간 표상 기술자를 매칭하여 상기 로봇의 위치에 해당되는 후보 노드들을 선정하는 매칭부; 및
상기 매칭된 후보 노드들 중 가장 유사한 노드를 선택하여 상기 로봇의 위치로 추정하는 로봇 위치 추정부를 포함하는 로봇의 전역적 자기 위치 추정 시스템.
제1항에 있어서,
상기 특정 공간은 실내 공간인 것을 특징으로 하는 로봇의 전역적 자기 위치 추정 시스템.
제1항에 있어서, 상기 공간 표상 기술자는,
상기 특징점의 각(angle) 자세(pose), 및 상기 특징점의 근사 거리값을 포함하는 것을 특징으로 하는 로봇의 전역적 자기 위치 추정 시스템.
제3항에 있어서, 상기 매칭부는,
상기 로봇의 자기 위치에서의 특징점에 대한 공간 표상 기술자와, 상기 노드 각각에서의 특징점에 대한 공간 표상 기술자를 매칭하는 매칭 수행부;
상기 매칭된 특징점들에서 이상점(outlier)을 제거하는 이상점 제거부; 및
상기 매칭된 특징점들의 매칭 점수(score)를 기준으로 후보 노드를 선정하는 후보노드 선정부를 포함하는 것을 특징으로 하는 로봇의 전역적 자기 위치 추정 시스템.
제4항에 있어서, 상기 매칭 수행부는,
상기 로봇의 자기 위치에서의 특징점과 상기 노드 각각에서의 특징점의 페어(pair)를 생성하는 페어 생성부;
수퍼픽셀(superpixel) 정보를 이용하여 상기 특징점의 페어를 필터링하는 페어 필터링부; 및
상기 필터링된 특징점의 페어에 대하여 유사도(similarity)를 바탕으로 매칭 페어를 선정하는 매칭페어 선정부를 포함하는 것을 특징으로 하는 로봇의 전역적 자기 위치 추정 시스템.
제5항에 있어서, 상기 매칭페어 선정부는,
상기 특징점의 페어에 대하여 유사성 행렬(affinity matrix)을 생성하고, 생성된 유사성 행렬의 고유값(eigenvalue) 중 가장 큰 고유값에 해당되는 고유벡터(eigenvector)로부터 매칭페어를 선정하는 것을 특징으로 하는 로봇의 전역적 자기 위치 추정 시스템.
제1항에 있어서, 상기 로봇 위치 추정부는,
상기 후보 노드들의 거리 정보를 바탕으로 매칭을 수행하여, 가장 유사한 노드를 선택하는 것을 특징으로 하는 로봇의 전역적 자기 위치 추정 시스템.
특정 공간에 대한 지도를 생성하는 단계; 및
전역적 자기 위치를 추정하는 단계를 포함하고,
상기 지도를 생성하는 단계는, 노드 선택부가 특정 공간 지도로부터 노드를 선택하는 단계, 영상 획득부가 상기 선택된 노드에서 전방향 영상을 획득하는 단계, 특징점 추출부가 상기 획득 영상에서 특징점을 추출하는 단계, 거리 정보 획득부가 상기 선택된 노드에서 전방향 거리 정보를 획득하는 단계, 특징 추출부가 상기 추출된 특징점의 특징을 추출하는 단계, 및 기술자 저장부가 상기 특징을 공간 표상 기술자로 저장하는 단계를 포함하고,
상기 전역적 자기 위치를 추정하는 단계는, 상기 영상 획득부 및 상기 거리정보 획득부가 로봇의 자기 위치에서 영상 및 거리 정보를 각각 획득하는 단계, 상기 기술자 저장부가 상기 자기 위치에서의 특징 추출을 통해 공간 표상 기술자를 생성하는 단계, 매칭부가 상기 로봇의 자기 위치에서의 특징과 상기 노드에서의 특징을 매칭하여 후보 노드들을 선정하는 단계, 및 로봇 위치 추정부가 상기 후보 노드들 중 가장 유사한 노드를 선택하여 로봇의 위치를 추정하는 단계를 포함하는 로봇의 전역적 자기 위치 추정방법.
제8항에 있어서, 상기 획득 영상에서 특징점을 추출하는 단계는,
상기 획득 영상에서 수직 에지(edge)를 추출하는 단계;
상기 수직 에지와 상기 획득 영상의 광학 수평선(horizontal optical center line)의 접점을 특징점으로 선정하는 단계; 및
상기 특징점 주위에 수퍼픽셀(superpixel)을 생성하는 단계를 포함하는 로봇의 전역적 자기 위치 추정방법.
제8항에 있어서, 상기 추출된 특징점의 특징을 추출하는 단계는,
상기 특징점의 각(angle) 자세(pose)를 추정하는 단계; 및
상기 특징점의 근사 거리값을 획득하는 단계를 포함하는 것을 특징으로 하는 로봇의 전역적 자기 위치 추정방법.
제8항에 있어서, 상기 후보 노드들을 선정하는 단계는,
상기 로봇의 자기 위치에서의 특징에 대한 공간 표상 기술자와, 상기 노드들 각각의 특징에 대한 공간 표상 기술자를 매칭하는 단계;
상기 매칭된 특징점들에서 이상점(outlier)을 제거하는 단계; 및
상기 매칭된 특징점들의 매칭 점수(score)를 기준으로 후보 노드를 선정하는 단계를 포함하는 것을 특징으로 하는 로봇의 전역적 자기 위치 추정방법.
제11항에 있어서, 상기 공간 표상 기술자를 매칭하는 단계는,
상기 로봇의 자기 위치에서의 특징점과 상기 노드 각각에서의 특징점의 페어(pair)를 생성하는 단계;
수퍼픽셀 정보를 이용하여 상기 특징점들 사이의 거리를 계산하여 페어를 필터링하는 단계; 및
상기 필터링된 페어들에 대하여 유사도(similarity)를 바탕으로 매칭 페어를 선정하는 단계를 포함하는 것을 특징으로 하는 로봇의 전역적 자기 위치 추정방법.
제12항에 있어서, 상기 유사도를 바탕으로 매칭 페어를 선정하는 단계는,
상기 필터링된 페어들에 사이의 유사도를 계산하는 단계;
상기 유사도를 바탕으로 유사성 행렬(affinity matrix)을 생성하는 단계;
상기 유사성 행렬의 고유값(eigenvalue) 및 고유벡터(eigenvector)를 연산하는 단계;
상기 고유값 중 가장 큰 고유값에 해당되는 고유벡터를 획득하는 단계;
상기 고유벡터를 이진화하는 단계; 및
상기 고유벡터를 이용하여 매칭된 페어를 선정하는 단계를 포함하는 것을 특징으로 하는 로봇의 전역적 자기 위치 추정방법.
제8항에 있어서, 상기 로봇의 위치를 추정하는 단계는,
상기 후보 노드들의 거리 정보를 리딩(reading)하는 단계;
상기 거리 정보를 매칭하는 단계; 및
상기 거리 정보에 대한 매칭 점수를 기준으로 상기 후보 노드들 중 가장 유사한 노드를 선택하는 단계를 포함하는 것을 특징으로 하는 로봇의 전역적 자기 위치 추정방법.