KR20110047797A

KR20110047797A - 이동 로봇의 위치 인식을 위한 지도 생성 및 갱신 방법

Info

Publication number: KR20110047797A
Application number: KR1020090104566A
Authority: KR
Inventors: 신경철; 박성주; 이희공; 이재영; 김형오; 스토니어 대니얼
Original assignee: 주식회사 유진로봇
Priority date: 2009-10-30
Filing date: 2009-10-30
Publication date: 2011-05-09
Also published as: EP2495632A1; EP2495632A4; CN102656532A; JP2013508874A; US20120213443A1; CN102656532B; EP2495632B1; JP5490911B2; KR101083394B1; US8849036B2; WO2011052826A1

Abstract

본 발명은 이동 로봇의 위치 인식을 위한 지도 생성 및 갱신 방법에 관한 것으로서, 더욱 상세하게는 지도 생성시에는 추출된 랜드마크와 추정된 랜드마크의 확률 오차에 기초하여 추출된 랜드마크를 등록하고, 지도 갱신 시에는 기등록된 랜드마크의 정확도를 산출하여 정확도가 낮은 랜드마크의 레벨을 조정하거나 오등록된 랜드마크를 제거하여 위치 인식의 오차를 최소화할 수 있는 이동 로봇의 위치 인식을 위한 지도 생성 및 갱신 방법에 관한 것이다.

가등록 랜드마크, 본등록 랜드마크, 검출 랜드마크의 품질, 등록 랜드마크 삭제

Description

이동 로봇의 위치 인식을 위한 지도 생성 및 갱신 방법{Apparatus and Method for Building and Updating a Map for Mobile Robot Localization}

본 발명은 이동 로봇의 위치 인식을 위한 지도 생성 및 갱신 방법에 관한 것으로서, 더욱 상세하게는 지도 생성시 추출된 랜드마크를 확률 점검 후 등록하고, 지도 갱신시 기등록된 랜드마크의 정확도를 분석하여 레벨 조정하거나 삭제하는 이동 로봇의 위치 인식을 위한 지도 생성 및 갱신 방법에 관한 것이다.

최근 로봇 기술의 발전에 따라 스스로 경로를 설정하고 이동하는 이동 로봇이 활용되고 있다. 이동 로봇의 대표적인 예로는 주택이나 건물 내부를 청소하는 청소용 로봇, 위치를 안내하는 안내 로봇 등을 들 수 있다. 특히 청소 로봇의 경우에는 각종 센서와 주행 수단을 구비하여 주행하면서 내부에 구비된 진공 청소 유닛을 이용하여 실내 바닥을 청소하며 현재 다수의 실제 제품이 사용되고 있다.

이들 이동 로봇이 공간에서 효과적으로 위치를 판단하며 이동하기 위해서 이동하고 있는 공간에 대한 지도를 생성하고 공간상의 자신의 위치를 인식하는 것이 요구된다. 이동 로봇이 주변 공간에 대하여 스스로 위치를 인식하고 지도를 형성하는 것을 동시 위치인식 및 지도형성(SLAM : Simultaneous Localization And Mapping)이라고 한다.

SLAM 기법 중에서 영상 기반의 SLAM은 영상에서 추출한 시각 특징점을 이용하여 주변 환경에 대한 지도를 생성하고, 로봇의 자세를 추정한다. 통상적으로 이동 로봇은 자이로스코프와 구동 모터에 구비된 엔코더를 이용하여 추측 항법(dead reckoning)으로 주행하며, 상부에 설치된 카메라를 이용하여 영상을 분석하고 지도를 생성한다. 이 때 자이로스코프와 엔코더로부터의 주행 정보에 의한 오차가 발생하는 경우 카메라로부터 획득된 영상 정보를 활용하여 누적되는 오차가 보정된다.

그 동안 이동 로봇의 주행 제어 방법 및 그에 따른 이동 로봇에 대하여 여러 가지 선행기술이 제시된 바 있으나 다음과 같은 문제점이 해결되지 못하였다.

영상으로부터 추출된 특징점에 대한 기술자(descriptor)로서 여러 가지 방식이 사용된 바 있으나, 조명 변화가 크거나 영상 변화가 큰 경우에 강인한 성능을 나타내지 못하는 문제점이 존재하였다. 또한, 이동 로봇의 주행 제어에 있어서 입력 영상의 사용이 불가능한 환경 또는 이동 로봇의 주행 제어 오류가 발생한 경우 적응적인 주행 제어 기법이 제시되지 못하였다. 또한, 특징점 매칭에 있어서 서로 다른 특징점임에도 불구하고 동일한 특징점으로 오인식되는 문제가 종종 발생하였다.

본 발명은 지도 생성시 랜드마크를 등록하는 경우 영상으로부터 검출된 랜드마크를 예측 랜드마크와 비교하여 비교 오차가 허용범위 이내인 신뢰도가 높은 랜드마크 만을 등록하는 이동 로봇의 지도 생성 방법을 제공하는 것을 목적으로 한다.

또한, 본 발명은 지도 갱신시 기 등록된 랜드마크를 이에 대응하는 랜드마크를 검출하여 확률 매칭을 하고, 그 매칭 정도에 따라 기등록된 랜드마크의 품질을 조정하고, 오등록된 랜드마크를 제거할 수 있는 이동 로봇의 지도 갱신 방법을 제공하는 것을 목적으로 한다.

상기 목적을 달성하기 위한 본 발명의 일실시예에 따른 이동 로봇의 위치 인식을 위한 지도 생성 방법은 이동 로봇이 제1 위치에서 획득한 제1 영상으로부터 랜드마크를 검출하여 가등록하는 단계; 상기 이동 로봇이 제2 위치로 이동하여 획득한 제2 영상으로부터 대응 랜드마크를 추출하는 단계; 이동 정보와 상기 가등록 랜드마크 정보에 기초하여 상기 제2 영상으로부터 상기 가등록 랜드마크를 추정하는 단계; 및 상기 가등록 랜드마크와 상기 추정 랜드마크의 매칭 오차를 산출하여 상기 매칭 오차가 기설정된 기준 오차의 범위 이내인 경우에는 상기 가등록 랜드마크를 본등록하는 단계를 포함한다.

상기 본등록단계에서는, 상기 매칭 오차가 기설정된 기준 오차의 범위를 벗 어나는 경우에는 상기 제1 영상은 천장 영상이 아닌 것으로 판단하고, 상기 가등록 랜드마크를 폐기하는 것을 특징으로 한다.

상기 제1,2 영상은 이동 로봇의 주행 대상 영역의 천장 영상을 포함하고, 상기 천장 영상은 복수의 특징점을 포함하는 것을 특징으로 한다.

상기 가등록 단계는, 상기 제1 영상을 복수의 서브 영상으로 분할하고, 상기 복수의 서브 영상의 밝기 변화의 크기와 밝기 변화의 위상을 산출하여 특징점을 검출하는 단계; 상기 서브 영상의 각각에서 검출된 복수의 특징점 가운데 밝기 변화와 밝기 변화의 위상의 크기가 최대인 특징점을 찾아 상기 가등록 랜드마크로 설정하는 단계를 포함하는 것을 특징으로 한다.

상기 밝기 변화의 크기는 상기 각 서브 영상의 수평 밝기 변화와 수직 밝기 변화의 합에 제곱근을 취하여 구하는 것을 특징으로 한다.

상기 밝기 변화의 위상은 상기 각 서브 영상의 수평 밝기 변화에 대한 수직 밝기 변화의 비에 역 탄젠트를 취하여 구하는 것을 특징으로 한다.

상기 제1,2 영상은, 복수의 동일한 랜드마크를 포함하는 것을 특징으로 한다.

상기 본 발명의 목적을 달성하기 위한 본 발명의 일실시예에 따른 이동 로봇의 위치 인식을 위한 지도 갱신 방법은 a) 제1 위치에서 제1 영상을 획득하여 랜드마크를 추출하여 랜드마크를 등록하는 단계; b) 제2 위치에서 제2 영상을 획득하여 상기 등록 랜드마크에 대응하는 랜드마크를 검출하고, 이와 아울러 위치 정보를 이 용하여 상기 등록 랜드마크를 예측하는 단계; c) 상기 검출 랜드마크에 대응되는 상기 등록 랜드마크의 품질을 검출하는 단계; 및 d) 확률 함수를 이용하여 상기 검출 랜드마크와 상기 예측 랜드마크의 매칭 확률을 산출하고, 상기 매칭 확률 및 상기 등록 랜드마크의 품질에 따라 차등적으로 상기 등록 랜드마크를 갱신하는 단계를 포함한다.

상기 d) 단계에서는, 상기 매칭 확률이 제1기준 확률보다 낮은 경우에 상기 검출 랜드마크가 폐기되는 것을 특징으로 한다.

상기 d) 단계에서는, 상기 등록 랜드마크의 품질이 기준 품질보다 낮은 경우에는 상기 등록 랜드마크가 오매칭(false-positive match)에 의하여 등록된 것으로 판단하여 삭제되는 것을 특징으로 한다.

상기 d) 단계에서는, 상기 등록 랜드마크의 품질이 기준 품질보다 높은 경우에는 상기 검출 랜드마크는 폐기되고, 상기 등록 랜드마크의 갱신에는 반영하지 않는 것을 특징으로 한다.

상기 d) 단계에서는, 상기 매칭 확률이 제1기준 확률보다 높고 제2기준 확률보다 낮으며 상기 등록 랜드마크의 품질이 기준 품질보다 낮은 경우에는, 상기 검출 랜드마크가 폐기되는 것을 특징으로 한다.

상기 d) 단계에서는, 상기 매칭 확률이 제1기준 확률보다 높고 제2기준 확률보다 낮으며, 상기 등록 랜드마크의 품질이 기준 품질보다 높은 경우에는, 상기 검출 랜드마크를 수용하는 것을 특징으로 한다.

상기 d) 단계에서는 상기 등록 랜드마크의 품질 등급이 현재 단계보다 한 단 계 낮추어지는 것을 특징으로 한다.

상기 d) 단계에서는, 상기 매칭 확률이 제3기준 확률보다 높은 경우에 상기 검출 랜드마크를 수용하는 것을 특징으로 한다.

상기 d) 단계에서는, 상기 등록 랜드마크의 품질 등급이 현재 단계보다 한 단계 상승하는 것을 특징으로 한다.

상기 b) 단계에서는, 상기 검출 랜드마크 및 상기 예측 랜드마크에 기초하여 상기 등록 랜드마크를 갱신하고, 상기 이동 로봇의 위치를 보정하는 것을 특징으로 한다.

상기 등록 랜드마크의 품질은 랜드마크의 검출 빈도, 검출 오류에 관한 이력 및 검출 정밀도 중 적어도 어느 하나에 의해서 결정되는 것을 특징으로 한다.

상기 위치 정보는 이동 로봇의 주행 거리, 주행 방향, 주행 시간, 회전 각도 및 회전 횟수를 포함하는 것을 특징으로 한다.

상기 등록 랜드마크는 상기 이동 로봇의 위치 인식을 위한 지도 생성 방법에 의하여 등록된 랜드마크인 것을 특징으로 한다.

본 발명은 지도 생성시 랜드마크를 등록하는 경우 검출된 랜드마크를 등록하기 전에 검출된 랜드마크의 신뢰성을 확인한 후에 랜드마크로 등록하므로 신뢰도가 높은 랜드마크 만을 등록할 수 있는 효과가 있다.

또한, 본 발명은 지도 갱신시 기등록된 랜드마크에 대응하는 랜드마 검출하여 확률 매칭을 함으로써, 기등록된 랜드마크의 품질을 조정할 수 있고 신뢰도를 높일 수 있으며, 오등록된 랜드마크를 제거할 수 있는 효과가 있다

이하, 본 발명의 바람직한 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 우선 각 도면의 구성 요소들에 참조 부호를 부가함에 있어서, 동일한 구성 요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다. 또한, 이하에서 본 발명의 바람직한 실시예를 설명할 것이나, 본 발명의 기술적 사상은 이에 한정하거나 제한되지 않고 당업자에 의해 변형되어 다양하게 실시될 수 있음은 물론이다.

도 1은 본 발명의 바람직한 실시예가 적용되는 이동 로봇의 구성을 도시한 블록도이다.

본 발명의 바람직한 실시예에 따른 이동 로봇(100)은, 영상을 취득하는 영상 획득부(110), 영상 획득부(110)에서 획득된 영상을 처리하고 영상 내의 특징점을 추출하며 특징점에 대한 기술자(descriptor)를 생성하는 영상 처리부(120), 이동 로봇(100)의 이동 방향 정보와 이동 거리 등을 센싱하는 센서부(140), 획득된 영상을 바탕으로 이동 로봇이 이동하는 공간에 대한 지도를 생성하고 획득된 영상에서 추출한 특징점에 관한 정보와 센서부(140)로부터 획득된 주행 정보를 바탕으로 이동 로봇의 작동을 제어하는 주제어부(130), 및 주제어부(130)의 제어에 따라 로봇 을 구동하는 로봇 구동부(140)를 포함한다.

영상 획득부(110)는 이동 로봇이 위치한 주변 환경에 대한 영상을 취득하는 장치로서, CCD(Charge Coupled Device), CMOS(Complementary Metal Oxide Semiconductor) 등과 같은 이미지 센서를 포함하여 구성될 수 있다. 본 발명에 있어서 영상 획득부(110)는 상향을 향하도록 배치되어 천장 영상을 획득하도록 배치됨이 바람직하다. 더욱 바람직하게는 영상 획득부(110)는 어안 렌즈(fisheye lens)와 같은 광각(wide angle) 렌즈를 구비하여 넓은 범위의 천장 영상을 획득할 수 있도록 한다.

영상 처리부(120)는 영상 왜곡 보정부(121), 영상 품질 점검부(122), 특징점 추출부(123), 및 기술자 생성부(124)를 포함한다.

영상 왜곡 보정부(121)는 영상 획득부(110)에서 획득된 영상의 왜곡을 보정하는 기능을 수행한다. 영상 획득부(110)가 어안 렌즈 또는 광각 렌즈를 포함하는 경우, 영상 획득부(110)를 통해 획득된 영상은 왜곡(radial distortion)을 포함한다.

이에 따라 영상 획득부(110)는 사전에 획득된 카메라 파라미터를 이용하여 영상의 왜곡을 제거한다.

영상 품질 점검부(122)는 획득된 영상의 가용성을 판단하는 기능을 수행한다. 영상 획득부(110)로 직사 광선이 조사되거나 영상 획득부(110)가 테이블과 같은 장애물에 의해 가려지는 경우 영상 획득부(110)에서 획득된 영상은 이동 로봇의 위치 인식에 사용되기 부적합할 수 있다. 이에 따라 영상 품질 점검부(122)는 획득 된 영상을 점검하여 획득된 영상이 부적합한 경우 이를 배제하는 기능을 수행한다. 일례로서, 영상 품질 점검부(122)는 획득된 영상의 명도를 기준으로 명도가 너무 높거나 낮은 경우 부적합한 영상으로 처리할 수 있다. 획득된 영상이 배제되는 경우 주제어부(130)는 자이로스코프(141)나 엔코더(142)로부터 획득된 주행 기록정보를 바탕으로 이동 로봇(100)의 이동을 제어할 수 있다.

두 영상을 상호 비교하는 스테레오 매칭(stereo matching)에서 영상 간의 변이(disparity)를 d, 초점 거리(focal length)를 F, 눈으로부터의 영상가지의 거리(distance from eyes)를 z라 하고, 이동 로봇의 실제 이동 거리를 r이라 할 때 이들간의 관계는 다음의 수학식 1과 같이 주어진다.

영상 품질 점검부(122)는 추가적인 기능으로서 영상 획득부(110)에 의해 획득된 영상의 명도 변화를 감지하여 이동 로봇(100)이 테이블과 같은 장애물의 하부로 이동하는 것을 감지할 수 있다. 예컨대, 획득된 영상의 명도 평균 및 분산을 이용하여 이동 로봇(100)의 영상 획득부(110)가 장애물에 의해 차폐되는 것을 감지한다.

만약 이동 로봇(100)이 테이블의 하부로 들어가게 되는 경우라면, 영상 프레임의 명도 평균이 점차 감소하면서 명도의 분산값이 커졌다가 작아지게 될 것이다. 계산량을 감소시키는 방법으로서는 영상 획득부(110)에서 획득된 영상을 이동 로봇(100)의 진행방향을 기준으로 4등분하여 분할된 각 영역의 명도 평균값을 이용하여 전체 영상에 대한 평균과 분산을 구하여 이동 로봇(100)의 차폐 여부를 판단할 수 있다.

영상 획득부(110)가 의해 차폐되는 경우에는 영상을 기반으로 한 이동 로봇(100)의 위치 제어가 불가능하게 되므로, 주제어부(130)는 자이로스코프와 같은 관성 센서(44) 및 엔코더(142) 정보를 바탕으로 하여 이동 로봇(100)의 이동을 제어하도록 한다.

특징점 추출부(123)는 영상 획득부(110)로부터 획득된 공간에 대한 영상으로부터 특징점(feature)을 추출한다. 특징점으로서는, 천장의 코너(corner), 천장에 설치된 램프, 또는 공간의 출입문 등을 들 수 있다. 그런데, 램프 또는 출입문을 이용하여 특징점을 추출하기 위해서는 계산량이 많아지는 단점이 있어 주로 천장의 코너 부분을 특징점으로 사용하는 것이 바람직하다. 다만, 본 발명에 있어서 특징점 추출부(123)에서 추출되는 특징점은 코너에 한정되는 것은 아니며 상술한 여러 특징점뿐만 아니라 공간에 존재하는 다양한 객체를 특징점으로 활용할 수 있음은 물론이다.

특징점으로서 코너를 추출하는 기법을 설명하면 다음과 같다.

코너 추출 기법의 일례로는 해리스 코너 검출법을 예로 들 수 있는데, Chris Harris and Mike Stephens는 “A Combined Corner and Edge Detector(Proceedings of The Fourth Alvey Vision Conference, Manchester, pp 147-151. 1988)"에서 영상에서 코너를 추출하는 방법을 제시한 바 있다. Harris 등의 방법은 영상에서 에 지(edge)를 따른 이동(shift)은 별 차이가 없지만 에지에 수직인 방향으로의 이동은 큰 차이를 발생시킨다는 것과 코너에서는 모든 방향으로의 이동이 큰 차이를 발생시킨다는 점에 착안한 것이다.

영상의 인텐시티(intensity)를 I, 영상에서의 이동 (x, y)에 따른 변화를 E라고 할 때, E는 다음의 수학식 2와 같이 주어진다.

위 수학식 1에서, w는 이미지 윈도우(image window)를 나타낸다.

상기 수학식 2는 수학식 3과 같이 표현할 수 있으며, 수학식 3에서 행렬 M은 영상 인텐시티의 그래디언트(gradient)를 나타내며 수학식 4에 의해 구해진다.

행렬 M의 고유치(eigenvalue)를 구하여 그 크기가 각각 일정 크기 이상이며 그 상대적인 비가 일정 크기 이하이면 모든 방향으로 영상의 인텐시티 변화가 심한 것으로 판정할 수 있다. 이를 코너의 반응 함수(response function)로 정의하며, 수학식 4와 같이 표현한다.

수학식 5에서 R값이 0보다 크고 R값이 국소 최대점(local Maxima)이 되는 점을 코너로 결정할 수 있다.

기술자 생성부(124)는 특징점 추출부(123)에서 추출된 특징점에 대한 기술자를 생성하는 기능을 수행한다. 특징점에 대한 기술자로서는 SIFT(Scale Invariant Feature Transform) 또는 SURF(Speeded Up Robust Features) 등이 활용될 수 있다. SIFT 기술자는 특징점 주변의 영상의 밝기 변화 분포 등을 이용하여 특징점을 표현하는 방식이고, SURF 기술자는 Herbert Bay 등이 2006년에 제안한 것으로서 SIFT에 대비해서 기술자의 차원을 줄여서 속도를 향상시키고 Haar Wavelet 적용으로 단순 그래디언트에 비해 강인하다는 특징이 있다.

주제어부(130)는, 특징점 관리부(131), 지도 관리부(132), 및 주행 제어부(133)를 포함한다.

특징점 관리부(131)는, 신규로 획득된 특징점에 대한 정보를 특징점 데이터베이스(미도시)에 등록하는 기능을 수행하는 한편, 획득된 영상에서 추출된 특징점 을 특징점 데이터베이스에 기 등록된 특징점과 매칭하여 일치하는 특징점을 검출하는 기능을 수행한다. 특징점 관리부(131)에서 수행하는 특징점 매칭은 특징점을 표상하는 표상하는 기술자 간의 유클리드 거리(Euclidian Distance)를 계산하여 판별할 수 있다.

지도 관리부(132)는 이동 로봇(100)의 영상 획득부(110)에서 획득된 영상, 이동 로봇(100)의 이동 방향과 거리 등의 주행 정보, 특징점의 위치 등을 바탕으로 이동 로봇(100)이 위치한 공간에 대한 지도를 생성하고 갱신하는 기능을 수행한다. 경우에 따라서는 상기 공간에 대한 지도가 이동 로봇(100)에 미리 제공될 수 있으며, 이 경우에는 공간에 위치한 장애물 등의 정보와 특징점 정보를 바탕으로 지도 관리부(132)는 지도를 계속적으로 갱신하도록 할 수 있다.

주행 제어부(133)는 이동 로봇(100)의 현재 위치 및 주행 정보를 바탕으로 이동 로봇(100)의 주행을 제어하는 기능을 수행한다. 이동 로봇(100)의 주행을 위한 일 실시 형태로서, 이동 로봇(100)은 좌륜(미도시)과 우륜(미도시)를 구비하고, 좌륜과 우륜의 구동을 위한 로봇 구동부(140)로서 좌륜 구동 모터(미도시)와 우륜 구동 모터(미도시)를 구비할 수 있다. 주행 제어부(133)는 좌륜 구동 모터와 우륜 구동 모터 각각의 회전을 제어함으로써 이동 로봇(100)의 전진, 후진, 좌회전, 및 우회전 등의 주행이 가능하도록 할 수 있다. 이 경우 좌륜 구동모터와 우륜 구동모터에는 각각 엔코더(142)가 구비되어 좌륜 구동모터와 우륜 구동모터의 구동 정보를 획득한다.

한편, 상기 주행 제어부(133)는 확장된 칼만 필터(EKF : Extended Kalman Filter)를 활용하여 현재 특징점의 위치와 이동 로봇의 위치에 기반하여 이후의 특징점의 위치와 이동 로봇의 위치를 예측함으로써 이동 로봇(100)의 주행을 제어하도록 설계될 수 있다.

상술한 구성에서 관성 센서(44)는 관성을 감지하여 이동 로봇(100)의 헤딩(heading) 방향을 확인할 수 있도록 하는데, 관성 센서(44)의 센싱 정보와 엔코더(142)의 센싱 정보는 이동 로봇(100)의 주행 정보(odometry)를 구성한다. 만약, 관성 센서(44)의 센싱 정보와 엔코더(142)의 센싱 정보가 정확하다면 이동 로봇(100)은 이들로부터 획득된 주행 정보만으로 완벽하게 제어될 수 있을 것이다. 그러나, 실제 환경에서는 구동 바퀴의 슬립(slip)이나 센서 정보의 오류로 인해 이동 로봇(100)의 실제 위치와 상기 주행 정보에 근거하여 계산된 위치가 다를 수 있다. 이러한 오차는 영상 획득부(110)에 의해 획득된 영상을 함께 이용하면 보정될 수 있다.

상술한 바와 같이, 본 발명에 따른 이동 로봇(100)의 기술자 생성부(124)는 영상의 특징점에 대한 기술자를 생성한다.

지역적 방향 기술자는 특징점 주변의 그래디언트(gradient)를 통해 지역적 방향(local orientation)을 도출하고 지역적 방향간의 관계를 바탕으로 생성됨을 특징으로 한다.

이하에서는 도 2 내지 도 4를 참조하여 본 발명의 실시예에 따른 이동 로봇의 위치 인식을 위한 지도 생성 및 갱신 방법을 상세히 설명한다.

도 2는 본 발명의 일실시예에 따른 이동 로봇의 위치 인식을 위한 지도 생성 및 갱신 방법의 순서도이고, 도 3은 본 발명의 일실시예에 따른 이동 로봇의 위치 인식을 위한 지도 생성 방법의 상세 순서도이고, 도 4는 본 발명의 일실시예에 따른 이동 로봇의 위치 인식을 위한 지도 갱신 방법의 상세 순서도이다.

도 2 내지 도 4를 참조하면, 본 발명의 실시예에 따른 이동 로봇의 위치 인식을 위한 지도 생성 및 갱신 방법은 영상 획득부(110)를 통하여 주행 또는 청소 대상 영역의 천장이 포함된 주변 영상을 적어도 2 프레임 이상 획득하고(S100), 상기 획득한 각각의 영상으로부터 특징점을 추출하며(S200), 상기 추출된 특징점을 이용하여 랜드마크를 추출하고 추출된 랜드마크는 확률 검정을 통하여 등록함으로써 지도를 생성하고(S300), 등록된 랜드마크는 주행 또는 청소 과정에서 획득한 영상에서 추출된 랜드마크와 등록된 랜드마크에 대한 예측 랜드마크와의 확률 매칭을 통하여 오인식으로 등록된 랜드마크를 삭제하거나 랜드마크의 신뢰도를 변경함으로써 지도를 갱신한다.(S400)

본 발명의 실시예에 따른 이동 로봇의 위치 인식을 위한 지도 생성 방법은 이동 로봇(100)이 제1 위치에서 획득한 제1 영상으로부터 랜드마크를 검출하여 가등록하는 단계(S310,S320); 상기 이동 로봇이 제2 위치로 이동하여 획득한 제2 영상으로부터 대응 랜드마크를 추출하는 단계(S330); 이동 정보와 상기 가등록 랜드마크 정보에 기초하여 상기 제2 영상으로부터 상기 가등록 랜드마크를 추정하는 단계(S340); 및 상기 가등록 랜드마크와 상기 추정 랜드마크의 매칭 오차를 산출하여 상기 매칭 오차가 기설정된 기준 오차의 범위 이내인 경우에는 상기 가등록 랜드마 크를 본등록하는 단계(S360)를 포함한다.

상기 가등록 단계(S320)에서는, 상기 제1 영상을 복수의 서브 영상으로 분할하고, 상기 복수의 서브 영상의 밝기 변화의 크기와 밝기 변화의 위상을 산출하여 특징점을 검출하며, 상기 서브 영상의 각각에서 검출된 복수의 특징점 가운데 밝기 변화와 밝기 변화의 위상의 크기가 최대인 특징점을 찾아 상기 가등록 랜드마크로 설정하게된다. 상기 특징점을 추출하고, 국소 최대점으로 랜드마크를 추출하는 과정은 본 발명의 후반에서 상세히 설명하겠다.

상기 본등록 단계(S360)에서는, 상기 매칭 오차가 기설정된 기준 오차의 범위를 벗어나는 경우에는 상기 제1 영상은 천장 영상이 아닌 것으로 판단하고, 상기 가등록 랜드마크를 폐기한다.(S370)

상기 제1,2 영상은 이동 로봇의 주행 대상 영역의 천장 영상으로서 복수의 특징점을 포함하는 것이 바람직하며, 또한 상기 제1,2 영상은 복수의 동일한 랜드마크를 포함하는 것이 바람직하다.

본 실시예에서는 상기 밝기 변화의 크기는 상기 각 서브 영상의 수평 밝기 변화와 수직 밝기 변화의 합에 제곱근을 취하여 구하고, 상기 밝기 변화의 위상은 상기 각 서브 영상의 수평 밝기 변화에 대한 수직 밝기 변화의 비에 역 탄젠트를 취하여 구한다.

본 발명의 실시예에 따른 이동 로봇의 위치 인식을 위한 지도 갱신 방법은 a) 제1 위치에서 제1 영상을 획득하여 랜드마크를 추출하여 랜드마크를 등록하고, b) 제2 위치에서 제2 영상을 획득하여 상기 등록 랜드마크에 대응하는 랜드마크를 검출하고(S410), 이와 아울러 위치 정보를 이용하여 상기 등록 랜드마크를 예측하며(S420) c) 상기 검출 랜드마크에 대응되는 상기 등록 랜드마크의 품질을 검출하고, b)확률 함수를 이용하여 상기 검출 랜드마크와 상기 예측 랜드마크의 매칭 확률을 산출하고(S430), 상기 매칭 확률 및 상기 등록 랜드마크의 품질에 따라 차등적으로 상기 등록 랜드마크를 갱신한다.(S440~S463)

도 4를 참조하여 본 발명의 일실시예에 따른 이동 로봇의 위치 인식을 위한 지도 갱신 방법을 상세히 설명하겠다.

상기 이동 로봇(100)은 제1 위치에서 제1 영상을 획득하여 랜드마크를 추출하여 랜드마크를 등록하고, 상기 제1 위치로부터 이동한 후 제2 위치에서 제2 영상을 획득한다. 상기 이동 로봇(100)은 상기 제2 영상에서 상기 등록 랜드마크에 대응하는 랜드마크를 검출하고(S410), 이와 아울러 이동 정보를 이용하여 상기 등록 랜드마크를 예측한다.(S420) 상기 이동 로봇(100)은 확률 함수를 이용하여 상기 검출 랜드마크와 상기 예측 랜드마크의 매칭 확률을 산출한다.(S430),

본 실시예어서는 확률 함수로써 상술하거나 후술될 가운시안 필터 또는 EKF 확률 함수가 적용되었으나, 칼만 필터 또는 히든 마르코프 모델(HMM) 등의 다른 확률 함수가 적용되는 것도 가능하다.

상기 이동 로봇(100)은 상기 매칭 확률의 결과에 따라 상기 검출된 랜드마크의 처리 영역을 매칭확률이 제일 낮은 제1 영역, 매칭 확률이 중간 정도인 제2 영역 및 매칭 확률이 높은 제3의 세 영역으로 분류한다(S440,S450).

상기 제1 영역은 상기 매칭 확률이 제1기준 확률보다 낮은 경우에 해당하며, 이 경우에는 상기 검출 랜드마크에 대응되는 등록 랜드마크의 품질을 기준 품질과 비교한다(S441).

상기 비교 결과에 따라, 상기 등록 랜드마크의 품질이 기준 품질보다 낮은 경우에는 상기 검출 랜드마크는 상기 등록 랜드마크의 갱신에 활용되지 않고 폐기되며(S443), 이와 아울러 상기 등록 랜드마크가 오매칭(false-positive match)에 의하여 등록된 것으로 판단하여 삭제된다(S444). 그러나, 상기 등록 랜드마크의 품질이 기준 품질보다 높은 경우에는 상기 검출 랜드마크는 폐기되고(S446), 상기 등록 랜드마크의 갱신에는 반영하지 않으며, 상기 등록 랜드마크는 보존한다. 다만, 상기 등록 랜드마크의 품질 등급은 현재 단계보다 한 단계 낮추어지게 된다(S445).

상기 제2 영역은 상기 매칭 확률이 제1기준 확률보다 높고 제2기준 확률보다 낮은 경우에 해당하며(S450), 이 경우에도 상기 검출 랜드마크에 대응되는 등록 랜드마크의 품질을 기준 품질과 비교한다.(S451)

상기 비교 결과에 따라, 상기 등록 랜드마크의 품질이 기준 품질보다 낮은 경우에는 상기 검출 랜드마크는 폐기되고(S446), 상기 등록 랜드마크의 갱신에는 반영하지 않으며, 상기 등록 랜드마크는 보존한다. 다만, 이 경우에도 상기 등록 랜드마크의 품질 등급은 현재 단계보다 한 단계 낮추어지게 된다(S445).

그러나, 상기 등록 랜드마크의 품질이 기준 품질보다 높은 경우에는, 상기 검출 랜드마크를 수용하며(S462), 상기 검출된 랜드마크에 기초하여 상기 등록 랜드마크를 갱신한다.(S463) 다만, 이 경우에도 상기 등록 랜드마크의 품질 등급이 현재 단계보다 한 단계 낮추어지게 된다.(S453)

상기 제3 영역은 상기 매칭 확률이 제3기준 확률보다 높은 경우에 해당하며, 상기 검출 랜드마크를 수용한다. 이 경우에는 상기 등록 랜드마크의 품질 여부에 상관없이 상기 검출 랜드마크에 대응되는 등록 래드마크와 우수한 랜드마크에 해당 하므로, 상기 등록 랜드마크의 품질 등급은 현재 단계보다 한 단계 상승하게 된다.

여기서, 상기 제1 기준 확률은 상기 제2 기준 확률보다 낮은 값을 갖는다.

상기 이동 로봇(100)은 상기 검출 랜드마크 및 상기 예측 랜드마크에 기초하여 상기 등록 랜드마크를 갱신하고, 자신의 위치를 보정하게 된다.

상기 등록 랜드마크의 품질은 랜드마크의 검출 빈도, 검출 오류에 관한 이력 및 검출 정밀도 중 적어도 어느 하나에 의해서 결정된다. 상기 위치 정보는 이동 로봇의 주행 거리, 주행 방향, 주행 시간, 회전 각도 및 회전 횟수를 포함한다.

도 5는 본 발명의 실시예에서 적용된 이동 로봇에 있어서 지역적 방향 기술자의 생성 과정을 도시한 도면이다.

영상 획득부(110)로부터 획득된 영상을 입력받고(S510), 영상의 각 픽셀에 대한 그래디언트를 계산한다(S520). 그래디언트 계산은 영상 내의 각 픽셀에 대하여 도 6과 같은 윈도우를 적용하여 수평 그래디언트(dx) 및 수직 그래디언트(dy)를 계산함으로써 이루어질 수 있다. 수평 그래디언트(dx)는 수평 윈도우의 각 값을 픽셀의 인텐시티 값에 곱한 합으로 구할 수 있으며, 수직 그래디언트(dy)는 수직 윈도우의 각 값을 픽셀의 인텐시티 값에 곱한 합으로 구할 수 있다.

특징점 추출부(123)에서 추출된 특징점(바람직하게는 코너)의 좌표를 입력받아(S530), 특징점을 중심으로 한 영상 패치를 설정한다(S540). 영상 패치를 설정함에 있어서 일 실시예로 9×9 픽셀을 특정할 수 있다. 다만, 실제 실시에 있어서 영상 패치의 크기는 상기한 바에 한정되는 것은 아니며 입력 영상과 적용 환경에 따라 가변적일 수 있음은 물론이다.

영상 패치 내 각 픽셀에 대한 그래디언트를 이용하여 각 픽셀에서 그래디언트의 위상(phase)과 크기(magnitude)를 계산한다(S550). 위상은 수학식 5에 의해, 크기는 수학식 6에 의해 계산될 수 있다. 수학식 6과 7에서 dx는 특정 픽셀에 대한 수평 그래디언트이고, dy는 특정 픽셀에 대한 수직 그래디언트이다.

다음으로, 영상 패치를 더 작은 영역으로 재분할하여 다수 개의 서브 영역(Sub Region)을 생성한다(S560). 발명의 실시에 있어서 9×9 영상 패치의 경우 3×3 서브 영역으로 분할하여 9개의 서브 영역으로 구분할 수 있다.

각각의 서브 영역에 대하여, 서브 영역을 구성하는 각 픽셀별 위상에 대한 히스토그램(histogram)을 작성하여 이에 대한 피크 값에 따른 위상을 해당 서브 영역의 지역적 방향으로 지정한다(S570). 도 7의 (a)는 영상 패치의 일례를 나타내며, (b)는 영상 패치의 서브 영역에 대한 지역적 방향 정보를 나타낸다. 도 7의 (b)의 경우 총 9개의 지역적 방향 정보가 추출되었음을 확인할 수 있다.

이동 로봇(100)의 주행 제어에 적용하면 다음과 같다.

이동 로봇(100)은 관성 센서(44)와 엔코더(142)의 주행 정보를 바탕으로 위치를 추정하고 실시간으로 지도를 생성한다. 주행 제어부(133)는 EKF를 활용하여 이동 로봇(100)의 이동 방향과 이동 거리로부터 추정된 매칭 범위를 이용하여, 영상 획득부(110)에서 순차적으로 획득되는 영상 간의 특징점 매칭을 수행한다.

주행 제어부(133)의 EKF에 의해 예측되는 범위 내에서 이동 로봇(100)의 위치 및 주행을 제어하는데, 영상 획득부(110)에서 획득된 영상을 처리하여 특징점을 추출하고 특징점에 대한 기술자를 생성하며, 생성된 기술자를 이용하여 특징점 매칭을 수행함으로써 이동 로봇(100)의 정확한 위치를 추정하여 주행 정보(odometry)에 따른 이동 로봇(100)의 위치를 보정한다.

이상의 설명에 따른 이동 로봇(100)의 주행 제어 방법을 설명하면 다음과 같다.

도 8은 본 실시예에서의 따른 이동 로봇의 위치 인식 및 주행 제어 방법에 있어서 특징점 추출 및 식별자 생성 과정을 도시한 순서도이다.

영상 획득부(110)는 이동 로봇(100)의 주변 환경에 대한 영상을 획득한다(S70). 영상 왜곡 보정부(121)는 획득된 영상의 왜곡을 보정한다(S72). 영상 품 질 점검부(122)는 영상 품질을 점검하고(S74), 영상 품질이 특징점 추출에 적합한 경우에만 다음 단계가 수행된다.

특징점 추출부(123)는 입력 영상으로부터 특징점을 추출하고(S76), 기술자 생성부는 특징점에 대한 기술자를 생성한 후(S78), 특징점 관리부(131)는 생성된 특징점이 신규인 경우 이를 등록하여 관리한다(S80).

한편, 특징점 추출부(123)에서 추출된 특징점이 핵심 영역 특징점에 해당하는 것으로 판정되는 경우(S82), 핵심 영역 특징점에 대한 기술자를 생성하고(S84), 특징점 관리부(131)는 핵심 영역 특징점이 신규인 경우 이를 등록하여 관리한다(S86).

도 9는 본 실시예에서의 이동 로봇의 위치 인식 및 주행 제어 방법에 있어서, 주행 제어 방법을 도시한 순서도이다.

영상 획득부(110)에서 획득된 입력 영상에 대한 특징점을 추출하고 이에 대한 기술자를 생성한다(S710). 다음으로 입력 영상에 대해 생성된 기술자를 이용하여 입력 영상의 특징점과 등록된 특징점과의 매칭을 수행한다(S720).

한편, 주제어부(130)는 관성 센서(44) 및 엔코더(142)로부터 이동 로봇(100)의 주행 정보를 입력받는다(S730).

주행 제어부(133)는 이동 로봇(100)의 주행 정보를 바탕으로 이동 로봇의 위치를 예측하고, 입력된 영상을 바탕으로 이동 로봇의 위치를 보정하여 이동 로봇의 주행을 제어한다(S7400).

특징점 관리부(131)는 영상 획득부(110)에서 신규로 획득된 영상에서 추출한 특징점과 기 등록된 특징점을 매칭하여 특징점의 일치 여부를 판단하는데 특징점의 오인식이 종종 발생한다. 이러한 특징점 오인식을 방지하기 위하여, 본 발명은 이미 설명한 지역적 방향 정보와 관성 센서(44)를 이용한 이동 로봇(100)의 주행 방향(heading) 정보를 함께 활용하는 방안을 제안한다.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위 내에서 다양한 수정, 변경 및 치환이 가능할 것이다. 따라서, 본 발명에 개시된 실시예 및 첨부된 도면들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예 및 첨부된 도면에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

도 1은 본 발명의 일실시예가 적용되는 이동 로봇의 구성을 도시한 것이고,

도 2는 본 발명의 일실시예에 따른 이동 로봇의 위치 인식을 위한 지도 생성 및 갱신 방법의 순서도이고,

도 3은 본 발명의 일실시예에 따른 이동 로봇의 위치 인식을 위한 지도 생성 방법의 상세 순서도이고,

도 4는 본 발명의 일실시예에 따른 이동 로봇의 위치 인식을 위한 지도 갱신 방법의 상세 순서도이고,

도 5는 본 실시예에서의 지역적 방향 기술자의 생성 과정을 도시한 도면이고,

도 6은 영상의 그래디언트를 계산하기 위한 윈도우를 예시한 도면이고,

도 7는 영상 패치의 일례(a) 및 영상 패치의 서브 영역에 대한 지역적 방향 정보(b)의 일례를 도시한 도면이고,

도 8는 본 실시예에서의 특징점 추출 및 식별자 생성 과정을 도시한 순서도이고,

도 9는 본 실시예에서의 주행 제어 방법을 도시한 순서도이다.

Claims

이동 로봇이 제1 위치에서 획득한 제1 영상으로부터 랜드마크를 검출하여 가등록하는 단계;

상기 이동 로봇이 제2 위치로 이동하여 획득한 제2 영상으로부터 대응 랜드마크를 추출하는 단계;

이동 정보와 상기 가등록 랜드마크 정보에 기초하여 상기 제2 영상으로부터 상기 가등록 랜드마크를 추정하는 단계; 및

상기 가등록 랜드마크와 상기 추정 랜드마크의 매칭 오차를 산출하여 상기 매칭 오차가 기설정된 기준 오차의 범위 이내인 경우에는 상기 가등록 랜드마크를 본등록하는 단계

를 포함하는 이동 로봇의 위치 인식을 위한 지도 생성 방법.
제1항에 있어서,

상기 본등록단계에서는,

상기 매칭 오차가 기설정된 기준 오차의 범위를 벗어나는 경우에는 상기 제1 영상은 천장 영상이 아닌 것으로 판단하고, 상기 가등록 랜드마크를 폐기하는 것을 특징으로 하는 이동 로봇의 위치 인식을 위한 지도 생성 방법.
제1항 또는 제2항에 있어서,

상기 제1,2 영상은 이동 로봇의 주행 대상 영역의 천장 영상을 포함하고, 상기 천장 영상은 복수의 특징점을 포함하는 것을 특징으로 하는 이동 로봇의 위치 인식을 위한 지도 생성 방법.
제1항 또는 제2항에 있어서,

상기 가등록 단계는,

상기 제1 영상을 복수의 서브 영상으로 분할하고, 상기 복수의 서브 영상의 밝기 변화의 크기와 밝기 변화의 위상을 산출하여 특징점을 검출하는 단계; 및

상기 서브 영상의 각각에서 검출된 복수의 특징점 가운데 밝기 변화와 밝기 변화의 위상의 크기가 최대인 특징점을 찾아 상기 가등록 랜드마크로 설정하는 단계

를 포함하는 것을 특징으로 하는 이동 로봇의 위치 인식을 위한 지도 생성 방법.
제4항에 있어서,

상기 밝기 변화의 크기는 상기 각 서브 영상의 수평 밝기 변화와 수직 밝기 변화의 합에 제곱근을 취하여 구하는 것을 특징으로 하는 이동 로봇의 위치 인식을 위한 지도 생성 방법.
제5항에 있어서,

상기 밝기 변화의 위상은 상기 각 서브 영상의 수평 밝기 변화에 대한 수직 밝기 변화의 비에 역 탄젠트를 취하여 구하는 것을 특징으로 하는 이동 로봇의 위치 인식을 위한 지도 생성 방법.
제3항에 있어서,

상기 제1,2 영상은, 복수의 동일한 랜드마크를 포함하는 것을 특징으로 하는 이동 로봇의 위치 인식을 위한 지도 생성 방법.
a) 제1 위치에서 제1 영상을 획득하여 랜드마크를 추출하여 랜드마크를 등록하는 단계;

b) 제2 위치에서 제2 영상을 획득하여 상기 등록 랜드마크에 대응하는 랜드마크를 검출하고, 이와 아울러 위치 정보를 이용하여 상기 등록 랜드마크를 예측하는 단계;

c) 상기 검출 랜드마크에 대응되는 상기 등록 랜드마크의 품질을 검출하는 단계; 및

d) 확률 함수를 이용하여 상기 검출 랜드마크와 상기 예측 랜드마크의 매칭 확률을 산출하고, 상기 매칭 확률 및 상기 등록 랜드마크의 품질에 따라 차등적으로 상기 등록 랜드마크를 갱신하는 단계

를 포함하는 이동 로봇의 위치 인식을 위한 지도 갱신 방법.
제8항에 있어서,

상기 d) 단계는,

상기 매칭 확률이 제1기준 확률보다 낮은 경우에는 상기 검출 랜드마크를 폐기하는 것을 특징으로 하는 이동 로봇의 위치 인식을 위한 지도 갱신 방법.
제9항에 있어서,

상기 c) 단계는,

상기 등록 랜드마크의 품질이 기준 품질보다 낮은 경우에는 상기 등록 랜드마크가 오매칭(false-positive match)에 의하여 등록된 것으로 판단하여 삭제되는 것을 특징으로 하는 이동 로봇의 위치 인식을 위한 지도 갱신 방법.
제9항에 있어서,

상기 d) 단계는,

상기 등록 랜드마크의 품질이 기준 품질보다 높은 경우에는 상기 검출 랜드마크를 폐기하고, 상기 검출 랜드마크를 상기 등록 랜드마크에 반영하지 않는 것을 특징으로 하는 이동 로봇의 위치 인식을 위한 지도 갱신 방법.
제8항에 있어서,

상기 d) 단계는,

상기 매칭 확률이 제1기준 확률보다 높고 제2기준 확률보다 낮은 경우에 상 기 등록 랜드마크의 품질이 기준 품질보다 낮으면, 상기 검출 랜드마크를 폐기하는 것을 특징으로 하는 이동 로봇의 위치 인식을 위한 지도 갱신 방법.
제8항에 있어서,

상기 d) 단계는,

상기 매칭 확률이 제1기준 확률보다 높고 제2기준 확률보다 낮으며, 상기 등록 랜드마크의 품질이 기준 품질보다 높은 경우에는, 상기 검출 랜드마크를 수용하는 것을 특징으로 하는 이동 로봇의 위치 인식을 위한 지도 갱신 방법.
제11항 내지 제13항 중 어느 하나에 있어서,

상기 d) 단계에서는

상기 등록 랜드마크의 품질 등급이 현재 단계보다 한 단계 낮추어지는 것을 특징으로 하는 이동 로봇의 위치 인식을 위한 지도 갱신 방법.
제8항에 있어서,

상기 d) 단계는,

상기 매칭 확률이 제3기준 확률보다 높은 경우에 상기 검출 랜드마크를 수용하는 것을 특징으로 하는 이동 로봇의 위치 인식을 위한 지도 갱신 방법.
제15항에 있어서,

상기 d) 단계에서는,

상기 등록 랜드마크의 품질 등급이 현재 단계보다 한 단계 상승하는 것을 특징으로 하는 이동 로봇의 위치 인식을 위한 지도 갱신 방법.
제15항 또는 제16항에 있어서,

상기 d) 단계에서는,

상기 검출 랜드마크 및 상기 예측 랜드마크에 기초하여 상기 등록 랜드마크를 갱신하고, 상기 이동 로봇의 위치를 보정하는 것을 특징으로 하는 이동 로봇의 위치 인식을 위한 지도 갱신 방법.
제8항에 있어서,

상기 등록 랜드마크의 품질은 랜드마크의 검출 빈도, 검출 오류에 관한 이력 및 검출 정밀도 중 적어도 어느 하나에 의해서 결정되는 것을 특징으로 하는 이동 로봇의 위치 인식을 위한 지도 갱신 방법.
제8항에 있어서,

상기 위치 정보는 이동 로봇의 주행 거리, 주행 방향, 주행 시간, 회전 각도 및 회전 횟수를 포함하는 것을 특징으로 하는 이동 로봇의 위치 인식을 위한 지도 갱신 방법.
제8항에 있어서,

상기 등록 랜드마크는 제1항 내지 제7항의 지도 생성 방법에 의하여 등록된 랜드마크인 것을 특징으로 하는 이동 로봇의 위치 인식을 위한 지도 갱신 방법.