KR100656859B1

KR100656859B1 - 초음파 센서와 비젼 센서를 기반으로 하는 이동로봇의 동시위치인식 및 지도형성 방법

Info

Publication number: KR100656859B1
Application number: KR1020050128561A
Authority: KR
Inventors: 안성환; 최진우; 정완균
Original assignee: 학교법인 포항공과대학교
Priority date: 2005-12-23
Filing date: 2005-12-23
Publication date: 2006-12-13

Abstract

본 발명은 초음파 센서와 비젼 센서의 결합한 SLAM 알고리즘을 이용하여 이동로봇의 위치인식과 지도형성을 동시에 달성하는 방법에 관한 것이다.

본 발명을 이용하면, 초음파 센서만을 사용했을 때 발생하는 부정확한 data association의 문제와 비젼 센서만을 사용했을 때 발생하는 많은 계산량으로 인한 느린 주기의 update, 조명 변화에 대한 취약성 문제를 해결할 수 있게 한다.

이동로봇, 초음파센서, 비젼센서, 위치인식, 지도형성

Description

초음파 센서와 비젼 센서를 기반으로 하는 이동로봇의 동시 위치인식 및 지도형성 방법{Simultaneous Location and Mapping Method Using Supersonic Wave Sensor and Vision Sensor}

도1은 본 발명에서 사용되는 TBF의 원리(도1(a)) 및 TBS sliding window(도1(b))를 도시함

도2는 Stable Intersection(도2(a))와 Unstable Intersection(도2(b))를 도시함

도3은 레이저 센서 데이터로 구성된 지도 정보와 호 형태의 초음파 센서 데이터의 비교

도4는 센서 데이터 3개를 이용한 line fitting(도4(a))과 line feature 인식 결과(도4(b))를 도시함

도5는 텔레비전의 SIFT 특징점(도5(a))과, 냉장고의 SIFT특징점(도5(b))과, 텔레비전의 MSHC특징점(도5(c))과, 냉장고의 MSHC 특징점(도5(d))의 비교 도면

도6은 다양한 시점 변화에서 추출된 Multi-scale Harris Corner 특징점

도7은 외곽선, 중심선, 시각 불변 특징점 및 특징량을 이용한 물체 데이터 베이스의 구성도

도8은 특징량 매칭과 RANSAC clustering을 이용한 물체 인식 기법 결과(왼쪽 이 물체인식 데이터 베이스, 오른쪽이 현재 영상에서 인식된 물체)를 도시함

도9는 스테레오 비젼 센서를 이용한 Visual object 거리 정보의 처리를 도시함

도10은 Visual object의 부정확한 거리 정보와 잘못된 물체 인식 결과를 도시함

도11은 실험에 사용된 BSR-I 이동로봇을 도시함

도12는 실험을 수행한 POSTECH 가정환경(도12(a))과, 9개의 평면 데이터 베이스(도12(b))를 도시함

도13은 POSTECH가정환경에서의 실험결과를 도시함

도14는 실험을 수행한 ETRI가정환경(도14(a))과, 10개의 평면 물체 데이터 베이스를 도시함

도15는 ETRI가정환경에서의 실험결과들

이동로봇이 주변 환경에 대한 아무런 정보 없이 자신의 위치를 인식하고 환경에 대한 정보를 형성하기 위해서는 위치인식(localization)과 지도형성(mapping)의 과정이 동시에 유기적으로 수행되어야 한다. 이를 이동로봇의 동시 위치인식 및 지도형성(SLAM, Simultaneous Localization And Mapping)이라 한다.

최근 실내 환경에 적용 가능한 서비스 로봇에 대한 관심이 증가하기 시작하 면서, 실용적인 SLAM 알고리즘에 대한 연구의 중요성이 강조되고 있다. 가정환경과 같이 복잡한 실제 환경에서 SLAM을 구현하기 위해서는 SLAM 알고리즘의 성능 향상뿐만이 아니라, 사용되는 센서의 성능 및 경제성 등도 고려되어야 한다.

지금까지 대부분의 SLAM 알고리즘은 레이져 센서 혹은 초음파 센서와 같은 거리 측정 센서를 기반으로 구현되어 왔다. 레이져 센서를 사용하는 경우에는, 주변 환경에 대해 비교적 정확한 위치 정보를 얻을 수 있어 좋은 성능을 보여주는 반면에, 고가의 장비라는 특성상 실용화에 큰 어려움이 있다. 반면 초음파 센서를 사용하는 경우에는, 가격 측면에서는 이점이 있지만, 부정확한 거리 정보 처리를 위한 후처리과정(예를들면, RCD(Region of Constant Depth), TBF(Triangulation-Based Fusion), Hough transformation을 사용한 line feature 등)이 요구된다.

특히, 위와 같은 거리 센서들은 SLAM 알고리즘의 update를 수행하기 위해 필요한 data association 과정을, 추정된 이동로봇의 자세 정보와 센서로부터 나오는 거리 정보로 처리하게 된다. 그 결과, 발생할 수 있는 잘못된 data association 결과는 SLAM 알고리즘을 통해 추정되는 로봇의 자세와 landmark의 위치를 발산시킨다. 이는 거리 센서만을 사용하는 SLAM 알고리즘의 실제 구현에 어려움을 준다.

이러한 이유로 최근에는 비젼 센서가 가지는 풍부한 정보와 정확한 data association, 가격 대비 가지는 정확한 성능을 이용하여 이동로봇의 SLAM 알고리즘을 구현하는 연구가 진행되고 있다.

대부분의 비젼을 사용하는 SLAM은 영상에서 추출한 시각 특징점을 직접 이용해 주변 환경 지도를 구성하고, 로봇의 자세를 추정하는 방법을 사용하는데, 이러 한 방식은 시각 특징점의 반복성과 신뢰성이 낮은 경우 SLAM 알고리즘의 강인성을 저하시키며, 계산량이 많아 알고리즘의 효율성을 저하시키는 문제가 있다.

또한, 비젼 센서를 사용하는 SLAM에는 미리 저장되어 있는 영상이나 물체의 정보를 이용하여 알고리즘을 구성하는 방식이 있는데, 이러한 방식은 직접 특징점을 다루지 않아 알고리즘의 효율성이 증대되나, 선행 학습을 통해 미리 데이터베이스를 갖추어야 한다는 불편함이 있다.

본 발명은 이상과 같은 종래기술의 문제점을 감안하여, 이동로봇이 비젼 센서를 사용하여 인식한 visual object와 초음파 센서 데이터를 처리하여 얻은 feature를 동시에 이용하는 SLAM알고리즘을 제공한다.

본 발명에서 제안된 알고리즘은 크게 세 부분, 1) 초음파 feature 추출 알고리즘 2) visual object 추출 알고리즘 3) EKF(Extended Kalman Filter) SLAM 알고리즘으로 구성된다.

초음파 센서를 이용한 feature 인식 방법은 point 와 line feature에 대한 강인한 인식 기법을 제공한다. Point feature 인식 방법은 기존의 좋은 방법인 TBF 알고리즘에 기반한다. 기본적인 TBF 알고리즘에서 아래의 추가적인 3가지 과정을 통해 그 성능을 향상시켰다.

- Stable intersection

- 효과적인 sliding window update 기법

- 잘못된 point feature의 제거

이들 추가적인 과정들은 알고리즘이 센서 오차에도 강인하도록 하며, 기존의 방법보다 더욱 많은 feature 수를 얻을 수 있도록 한다. 또한, line feature 인식은 이웃한 초음파 센서의 특징을 이용한다. Line feature에서는 이웃한 3개의 센서가 유사한 거리 값이 보이게 된다. 따라서 이러한 센서 특성을 통해 얻어진 초음파 센서 데이터 중 line feature에서 얻어진 데이터를 분류하고 이를 이용하여 feature 인식을 수행한다. 제안된 방법은 현재 초음파 센서 데이터만을 이용하는 간단한 과정을 통해 line feature를 인식할 수 있다는 장점이 있다.

비젼 센서를 이용한 평면의 visual object 인식 알고리즘은 아래의 네 단계로 이루어진 물체인식 과정을 통해 구현된다.

- 시각 불변의 특성을 가진 multi-scale Harris corner 특징점과 SIFT 특징량의 추출

- k-d tree 구조의 데이터베이스에서 Euclidean distance를 이용하는 특징량 매칭

- 물체인식을 위한 RANSAC clustering

- SLAM을 위한 visual object 중심점의 정확한 거리 정보 추출

이동로봇이 비젼 센서를 사용하여 SLAM을 하는 경우 제안된 알고리즘은 몇 가지 장점을 가진다.

첫째, multi-scale Harris corner 특징점과 SIFT 특징량의 결합을 통해 강인한 물체인식이 가능하도록 하였으며,

둘째, 물체라는 구속조건을 이용하여 landmark를 구성하기 때문에 시각 특징점 자체를 landmark로 사용하는 것보다 반복성과 신뢰성을 증가시킬 수 있다.

셋째로, 물체를 사용함으로써 landmark의 개수가 줄어들기 때문에 EKF SLAM 알고리즘의 실시간 구현이 가능해진다.

마지막으로 정확한 거리 정보 획득과 data association이 가능해지므로, 로봇의 자세와 landmark의 위치가 발산하지 않고 안정적으로 SLAM을 구현할 수 있게 된다.

EKF SLAM 알고리즘은 feature 기반의 지도를 이용하는 SLAM 기법 중에서 보편적으로 많이 사용되는 방법 중 하나이다. EKF SLAM 알고리즘은 이동로봇의 자세와 더불어 초음파 feature와 visual object를 동시에 SLAM state로 처리하여 각각 의 값들을 추정할 뿐만 아니라, state 간의 co-relation을 항상 유지하여 이동로봇으로 하여금 안정적인 위치인식과 지도형성을 가능하게 한다.

이제, 초음파 센서를 이용한 point와 line feature 추출 방법, 비젼 센서를 이용하는 시각 불변 특징점과 특징량에 기반한 물체인식 방법, 위 두 feature들을 SLAM 알고리즘에 동시에 적용하는 EKF SLAM에 대해서 보다 구체적으로 설명하도록 한다.

I. 초음파 센서를 이용한 feature 인식 방법

초음파 센서를 이용한 feature 인식 방법으로서, 본 발명에서는 point feature 인식 방법과 line feature 인식 방법을 제안한다.

1. TBF 알고리즘

초음파 센서로 인식 가능한 point feature는 convex / concave corner, 기둥 형태

point feature 등이 있다. 초음파 센서를 이용한 point feature 인식 방법은 기존의 초음파 feature 인식 방법 중 좋은 구조를 제시해 주는 TBF(Triangulation-Based Fusion) 알고리즘을 기초로 하여, 그 성능이 SLAM 알고리즘에 더욱 적합하도록 향상된 방법을 제안한다.

TBF 알고리즘은 초음파 센서 데이터를 삼각 측량법의 원리를 이용하여 point feature 위치를 정확히 측정할 수 있도록 하는 방법이다(도1(a)참고). 한 위치에서 얻어진 초음파 정보만을 이용할 경우, 초음파 센서의 부정확한 각도 정보로 인해 측정된 위치가 초음파 빔의 호 상에서 어느 지점인지 정확히 알 수 없다. 하지만 다른 지점에서 얻어진 초음파 센서 정보를 함께 이용한다면 두 호의 교점을 구하여 측정된 물체의 위치를 더욱 정확히 추정할 수 있다는 것이 TBF 알고리즘의 기본 원리이다. 이를 실제 구현하기 위해 일정 시간 동안의 초음파 센서 데이터를 저장하여 이를 센서 위치 변화에 따라 경신해주는 sliding window(도1(b)참고)를 이용한다.

이러한 기본 원리를 이용한 TBF 알고리즘의 처리과정은 아래와 같다.

1) 각 초음파 센서 데이터를 중심각이 22.5˚인 호로 모델링한다.

2) 정해진 수의 이전에 측정된 초음파 센서 데이터와의 호의 교점을 구한다.

3) 구해진 교점의 수가 기준값 이상일 경우 이들의 평균점을 구하여 point feature로 이용한다.

그러나, 인식된 point feature를 이용한 SLAM 알고리즘의 구현을 위해서는 TBF 알고리즘을 SLAM에 적합하도록 개선시킬 필요가 있다.

1) 얻어진 point feature의 위치는 초음파 센서의 오차에 대해 강인해야 하며 그 값이 정확해야 한다.

2) 특정 위치에서 얻어지지 않는 잘못된 point feature들은 효과적으로 제거되어야 한다.

3) 이동 로봇의 위치인식을 성공적으로 수행하기 위해, 가능한 많은 수의 feature를 인식할 수 있어야 한다.

인식된 feature의 정확성은 더욱 엄격한 조건을 적용하여 향상시킬 수 있지만, 이 경우 인식된 feature의 수를 감소시키는 문제가 발생한다. 따라서 이러한 TBF 알고리즘의 문제점을 개선하기 위해 추가적인 세 가지 과정을 적용하여 SLAM 알고리즘에 적합한 feature 인식 방법을 제안한다.

2. Point Feature 인적 방법의 개선 방법

a) Stable intersection

Stable intersection은 초음파 센서의 빔을 나타내는 두 호가 이루는 교점 중에 각도가 기준값(30˚) 이상인 것을 의미한다.

Stable intersection을 이용하면 point feature 인식의 성능에 두 가지 향상을 가져온다.

먼저, stable intersection은 센서 측정 값의 오차에 따라 교점의 위치가 크게 변하지 않게 된다(도2(a)참고). 이와는 달리 unstable intersection의 경우, 약 간의 측정 값의 변화에도 교점의 위치의 변화가 크다(도2(b)참고). 따라서, stable intersection을 이용한 point feature 인식 방법은 센서 오차에 강인하게 작동하게 된다. 또한, stable intersection을 이용함으로 인해 벽 등의 위치에서 얻어지는 잘못된 point feature를 제거해 줄 수 있다. 이는 벽 등의 위치에서 얻어지는 교점의 경우 stable intersection이기 보다는 unstable intersection일 가능성이 높기 때문이다.

b) 효과적인 sliding window update 방법

Point feature 인식의 두 번째 과정은 효과적인 sliding window update 방법의 제안이다. 기존의 TBF 알고리즘에서는 센서 위치 변화에 따라 sliding window를 update하게 된다 즉, 센서의 위치(

)가 기존의 위치(

)에 비해 특정 거리(d _t ) 이상 이동한 경우에 대해 새로운 센서 데이터를 sliding window에 추가하게 된다.

(수학식 1)

하지만, 이러한 방법은 인식된 feature의 수를 감소시킨다. 특히, 로봇이 한 위치에 멈춰서 회전하는 경우 기존의 방법에서는 sliding window를 계속해서 update 해주게 되어, sliding window에 포함된 모든 센서 데이터는 한 자리에서 회전하는 동안 얻어진 데이터들로 채워지게 된다. 이로 인해 교점은 거의 발생하지 않게 되고, 결과적으로 feature 인식에 실패하게 된다. 이렇게 이동 로봇의 회전 시 feature 인식에 실패한 경우는 로봇의 방위 오차를 효과적으로 보정하지 못하게 되어 로봇의 위치인식에 심각한 문제를 야기하게 된다.

이러한 기존 방법의 문제점을 해결하기 위해, 기존의 방법보다 효과적인 sliding window update 방법을 제안한다. 이 방법은 기존의 센서의 위치 변화를 이용하는 것이 아니라 이동 로봇의 위치 변화를 이용한다. 즉, 로봇의 위치(

)가 기존의 위치(

)보다 특정 거리(d _t ') 이상 이동한 경우 새로운 센서 데이터를 sliding window에 추가하게 된다.

(수학식 2)

로봇 위치 변화가 주어진 값보다 작을 경우에는, sliding window의 가장 최근 센서 데이터만을 현재 센서 데이터로 교체하게 된다. 이로 인해 로봇이 멈추어 있는 경우 혹은 한 위치에서 회전 운동만을 하는 경우에 대해서도 feature 인식이 가능하도록 하였다. 특히 제안된 방법을 통해 추가적으로 획득된 feature의 경우 로봇의 회전 운동 시에 얻어진 경우가 많아, 로봇의 방위 오차 보정에 유용하게 사용될 수 있다.

3. 잘못된 Point Feature의 제거 방법

Point feature는 corner 등의 특정 위치에서 반복적으로 얻어지는 feature이다. 하지만 로봇이 벽 쪽으로 가까이 주행 하는 경우 혹은 가정환경과 같이 복잡한 환경의 경우, 벽 등에서 잘못된 point feature가 얻어질 수 있게 된다. 이러한 잘못된 point feature를 제거하기 위해서는 line에서 얻어지는 초음파 센서 데이터의 특성과 point feature에서 얻어지는 데이터의 특성을 분석하여, line에서 얻어진 것과 point feature에서 얻어진 것을 구분해야 한다.

도3은 레이져 센서로 얻어진 지도 정보와 함께 초음파 센서 정보를 호형태로 나타낸 것이다. 그림의 위쪽 부분의 벽에서 얻어진 센서 정보의 경우, 3개의 이웃하는 센서가 유사한 거리 값을 나타내고 있다. 반면에 point feature의 경우 각각 하나의 센서에 의해서만 인식된 것을 확인할 수 있다. 따라서 연속된 세 개의 초음파 센서가 유사한 거리 값으로 얻어지는 경우는 point feature로부터 얻어진 것이 아니라 볼 수 있다. 이러한 특성을 보이는 센서 데이터를 호의 교점을 구하는 과정에서 제외시킴으로써, 벽 등에서 얻어지는 잘못된 point feature를 효과적으로 제거해 줄 수 있다.

4. 초음파 센서를 이용한 line feature 인식

Line feature는 가정환경의 벽과 가구의 표면 등을 표현해 줄 수 있는 feature이다. Line feature를 SLAM 알고리즘에 이용할 경우, point feature가 많지 않은 위치에서도 성공적으로 위치인식을 수행할 수 있으며, line feature로 인해 SLAM를 통해 얻어진 feature map이 실제 환경을 더욱 잘 묘사할 수 있게 된다.

a) Line Feature 인식 방법

Line feature 인식을 위해서는 잘못된 point feature 인식에 사용된 line에서 얻어진 센서 데이터 특성을 동일하게 적용할 수 있다. 다시 말해, 초음파 센서의 특성상 line에서는 3개의 이웃하는 센서가 모두 동일한 line을 인식하게 되고, 그 결과 비슷한 거리 값이 측정된다는 것이다. 따라서 기본적으로 3개의 이웃하는 센서에서 유사한 거리 값이 얻어지면, 이는 point feature 인식 과정에서 제외함과 동시에 line feature로 분류할 수 있다. 하지만 이 정보 외에도 3 개의 연속적인 센서가 동일한 line을 인식했다면, 이들 셋 중 가운데에 있는 센서에서 얻어진 거리 값은 양쪽 끝의 두 센서에서 얻어진 거리 값들 보다 작은 값이 측정되어야 한다는 조건이 필요하다. 비록 초음파가 호형태로 퍼져나간다고 하더라도, 가운데 센서가 line의 수직 방향과 가장 가까운 경우가 되기 때문이다. 따라서 다음 두 조건을 모두 만족하는 초음파 데이터는 line으로 분류할 수 있다.

- 3 개의 연속적인 초음파 센서가 유사한 거리 값을 측정해야 한다.

- 이들 센서 중 가운데 센서에서 얻어진 거리 값이 최소 값이 되어야 한다.

- 위의 조건을 통하여 line에서 얻어진 것으로 구분된 센서 데이터를 이용한 실제적인 line feature 인식은 다음의 과정을 통해 수행된다.

1) Centerline 센서 모델[12]을 통해, 3 개의 점을 얻는다.

2) 얻어진 세 점을 이용하여 least square line fitting을 수행한다.

3) 인식한 line feature의 양 끝점을 결정한다.

위의 line feature 인식 과정 중 마지막 과정에서, 인식된 line feature의 양 끝점은 가운데 센서 빔의 각도 영역(±11.25˚)으로부터 결정될 수 있으며 이로 인해 하나의 완전한 line feature 인식을 수행할 수 있게 된다(도6참고).

제안된 line feature 인식 방법은 매우 간단한 알고리즘으로 인해 계산량이 매우 적으며, 현재 초음파 센서 데이터만을 이용하여 line feature를 인식할 수 있다는 장점이 있다.

II. 시각 불변 특징점과 특징량에 기반한 물체인식 방법

1. 시각 불변 특징점 및 특징량

영상으로부터 추출된 시각 불변 특징점(detector) 및 특징량(descriptor)은 영상 매칭, 영상 합성, 물체 인식 등 비젼의 여러 분야에 이용된다. 특히, 시각 불변 특징점 및 특징량에 기반한 물체인식의 경우, 사전에 구성해 놓은 물체 데이터베이스를 이용한다. 이러한 물체인식 기법은 현재 영상과 물체 데이터베이스의 특징량을 비교하여 대응되는 특징점을 찾아 물체를 인식한다는 점이 인간의 물체인식 시스템과 동일하다는 특성을 가지고 있다.

그러나 실제 환경에서 사용가능한 물체인식은 물체의 위치, 회전, 스케일, 시점, 조명 변화 등에 대해 상관없이 이루어져야 하며, 이런 조건들을 만족시키기 위해서는 물체인식에 사용되는 시각 불변 특징점과 특징량도 동일한 강인성을 가지고 있어야 한다.

위 조건을 만족하는 대표적인 물체인식 기법은 SIFT (Scale Invariant Feature Transform)라는 시각 불변 특징점과 특징량을 사용하여 구현된다. 주어진 gray-scale 영상에 Gaussian 필터와 down sampling을 통한 스케일 변화를 적용하고, 이 때 얻은 영상들 사이의 gray-scale 차이 값(DoG, Difference of Gaussian) 중에 영상 좌표와 스케일 영역에 대해 극값이 나오는 점을 특징점으로 얻게 된다. 그리고 선택된 특징점 주변의 영상 정보를 gradient 벡터로 처리하여 SIFT 특징량을 결정하게 된다. 이렇게 얻어진 SIFT 특영점 및 특징량은 영상의 위치, 회전, 스케일에 강인하며, 조명이나 시점 변화에 부분적으로 영향을 받지 않는다는 특성을 지니고 있다.

이렇게 DoG를 기반으로 추출된 SIFT 특징점은 영상의 gray-scale 값의 변화가 있는 곳에 주로 나타나게 된다. 이러한 특성은 도5(a),(b)와 같이 텔레비젼과 냉장고 영상으로부터 특징점을 추출한 결과로 확인할 수 있다. 그러나 이 기법은 주어진 영상에서 많은 수의 SIFT 특징점을 추출해 주지만, 반복적인 특징을 지니지 못한 점들이 대부분이며, 이는 물체인식에 있어 시각적으로 의미 없는 점들이 되게 된다. 따라서 가정환경의 일반적인 물체들을 인식하기 위해서 사용되는 SIFT 특징점은 강인한 물체인식에 적합하지 못한 방법이라 생각된다.

SIFT 특징점보다 가정환경의 물체인식에 적합한 시각 불변 특징점은 MSHC(multi-scale Harris corner라 판단된다. MSHC 특징점은 주어진 영상에 Gaussian 필터를 통해 스케일 변화를 적용한 각각의 영상들에서 추출된 Harris corner로부터 구할 수 있다. 이런 Harris corner가 가지는 Harris measure 값을 비교하여 스케일 영역에서 최대값을 갖는 점을 MSHC 특징점으로 결정하게 된다. Harris corner는 각각의 픽셀 위치 x에서 계산되는 scale-adapted second moment matrix(3)로부터 얻을 수 있다.

(수학식 3)

여기서 σ _I 는 적분 스케일, σ _D 는 미분 스케일, L _a 는 σ _D 의 Gaussian 필터를 적용한 뒤 a방향으로 미분한 결과, 그리고 g(σ _I )는σ _I 의 Gaussian 필터를 의미한다. μ로부터 아래의 식과 같이 Harris measure λ를 정의할 수 있으며, 주어진 기준 값보다 클 경우 해당 픽셀은 Harris corner로 결정되게 된다.

(수학식 4)

MSHC 특징점은 SIFT와는 다르게 도5(c),(d)와 같이 물체를 구성하는 의미있는 요소들로 나타나게 되며, 이동로봇이 가정환경에서 좀 더 자연스러운 물체를 인식하는데 도움이 된다. MSHC는 위치, 회전, 스케일, 조명 변화에 SIFT보다 강인한 특성이 있으며, 특히 도6에서 보듯이 다양한 시점 변화(-60˚, -30˚, 0˚, 30˚, 60˚)에서도 동일한 특징점들이 추출되는 강인성을 가지고 있다. 그러나 MSHC 특징점은 반복적으로 Gaussian 필터를 적용한 뒤 추출하므로, 계산 시간이 오래 걸린다는 단점이 있다. 따라서 우리는 MSHC를 추출하는 기존의 방식을 SIFT 특징점 추출 방법과 같이 스케일 변화가 down sampling으로 구현되는 방식으로 수정하였고, 그 결과 계산 성능을 향상시킬 수 있었다.

또한 저가의 비젼 센서를 사용하는 경우, 노이즈가 있는 영상에서도 물체인식이 가능하도록 보다 풍부한 주변 정보를 담고 있는 특징점만을 선택할 필요가 있다. 이러한 이유로 제안된 특징점 추출 방식에 부가적으로 영상의 정보를 측정할 수 있는 엔트로피(entropy)의 개념을

적용하여 정보량이 충분한 특징점을 선택하였다.

엔트로피 H는 G 단계의 gray-scale 레벨을 가지고 있는 영상과 각각의 gray-scale 레벨 k의 확률값 P(k)로부터 아래와 같이 계산된다.

(수학식 5)

특징점 추출과정에서 각각의 특징점 i 주변의 영상으로부터 엔트로피 H _i 를 계산하고, 이 값이 기준값보다 작게 되면 물체인식에 사용되는 특징점에서 제외시킨다. 이러한 방식은 보다 정확한 물체인식을 도와주며, 또한 특징점의 갯수를 줄여주어 특징점을 매칭하여 물체를 인식하는데 걸리는 시간을 줄여줄 수 있다는 장점을 가지고 있다.

우리의 물체인식 기법에 사용되는 특징점은 MSHC 특징점을 사용하며, 각각의 특징점 주변의 영상 정보를 나타내는 특징량은 SIFT 특징량을 이용한다. SIFT 특징량은 특징점 주변의 gray-scale 값들의 gradient 벡터로부터 얻어진 크기와 방향성을 표현하는 128개의 요소로 이루어지며, 다양한 시각 변화 요소에 영향을 받지 않는 특성이 있다.

2. 물체 데이터베이스 생성

물체 데이터베이스에 의존하여 물체를 인식하는 방법을 구현하기 위해서는 물체 데이터베이스를 오프라인으로 미리 구성해 놓아야 한다. 이런 사전 학습 방식의 물체인식은 비젼 센서로부터 들어온 현재 영상에서 우리가 원하는 물체를 배경과 손쉽게 구분하고 정확하게 인식할 수 있다는 장점이 있다.

평면의 물체를 사용하여 물체 데이터베이스를 구성하는 방식은 다음과 같다(도7참고). 학습을 위한 물체의 영상으로부터 직접 수동으로 물체의 꼭지점에 해당되는 점을 선택함으로써 영상에서 물체가 차치하는 영역을 구분해준다. 제안된 방법으로 선택된 영역의 영상 정보로부터 특징점과 특징량을 추출하고, 영상 좌표에 대한 위치정보 등을 데이터베이스에 저장한다. 이 때, SLAM의 point landmark로 사용하기 위해 영상 좌표에 대한 물체의 외곽선과 중심점 역시 데이터베이스에 저장 된다.

또한, 데이터베이스와의 특징점 매칭 시간을 줄이기 위해, k-d tree 구조에 기반하여 물체 데이터 베이스를 구성하는 방식을 이용하였다. 그 결과 많은 수의 물체로 이뤄진 데이터베이스를 사용하는 경우에도 현재의 영상에 포함된 물체를 효율적으로 매칭할 수 있었다.

3. 물체인식

물체를 인식하기 위해 우선적으로 특징량 정보를 이용하여 현재 영상과 물체 데이터베이스의 특징점들의 특징량 벡터를 서로 매칭하여야 한다. 이 때, 앞서 언급한 k-d tree 구조에 기반하여, 특징량 벡터 사이의 Euclidean distance가 최소가 되는 특징점들을 매칭하는 효율적인 approximate nearest neighbor(ANN) 방식을 이용하였다.

비록 매칭에 이용되는 각각의 SIFT 특징량은 특징점 부근의 매우 고유한 정보를 담고 있고 영상의 변화에 영향을 받지 않는 특성을 지녔지만, 실제로 특징량을 매칭하게 되면 outlier들이 발생하는 경우가 생긴다. 매칭된 시각 불변 특징점들은 서로 간의 geometry 관계가 고려되지 않고, 단순히 주변 정보인 특징량을 근거로 매칭되기 때문에 이러한 outlier들이 발생하게 되는 것이다.

이런 outlier들을 제거하기 위해서는, 데이터베이스와 현재 영상의 매칭된 특징점들 간의 geometry 관계를 고려해 주어야 한다. 제안된 시각 불변 특징량은 위치 반복성이 뛰어나기 때문에, 데이터베이스의 물체와 현재 영상의 물체를 구성하고 있는 특징점들 간의 geometry 관계를 homography transformation으로 대응시 킬 수 있다.

다시 말해, 매칭된 두 특징점들 간의 homography transformation을 구해 그 관계를 만족하는 특징점들만 clustering한다면, outlier들은 제거되고 정확한 물체인식이 가능해 진다.

(수학식6)

여기서 X _s,i 는 현재 영상에서 i번째 매칭된 특징점의 위치, X _o,i 는 데이터베이스에서 i번째 매칭된 특징점의 위치를 의미하며, M _o→s 는 데이터베이스의 물체에서 현재 영상의 물체로 가는 homography transformation을 나타낸다(그림10).

데이터베이스의 물체와 현재 영상의 물체 사이의 homography trarnsformation을 체계적으로 구하기 위해, RANSAC clustering기법을 이용하였다. RANSAC에 사용되는

error measure로는 아래와 같은 양방향 measure를 사용하였다.

(수학식 7)

여기서 n은 cluster된 특징점의 수를 의미하며, M _s→o 는 현재 영상의 물체에서 데이터베이스의 물체로 가는 homography transformation을 나타낸다. RANSAC clustering을 이용하여 homography transformation의 8개의 매개변수를 구하는 알고리즘의 구성은 표 I과 같다. 이러한 RANSAC clustering 방법을 이용하면 homography transformation의 매개 변수를 손쉽게 찾을 수 있으며, 특징량으로만 매칭된 특징점들에 geometry 관계를 부여하여 같은 물체에 속한 특징점만을 묶어줄 수 있어 강인한 물체인식이 가능하게 된다.

도8은 복잡한 환경에 제안된 물체인식 기법의 성능을 보여주며, 여러 물체를 동시에 인식할 수 있는 특성도 확인할 수 있다. 왼쪽이 물체 데이터 베이스이고, 오른쪽이 현재 영상에서 인식된 물체이다.

표 I: 물체인식 기법을 위한 RANSAC clustering

4. SLAM을 위한 인식된 물체의 거리 정보 처리

SLAM에서 이동로봇의 자세와 landmark의 위치를 정확하게 추정하기 위해서는 기본적으로 로봇에 대한 인식된 물체의 상대 거리 정보가 필요하다. 인식된 물체에서 직접 거리 정보를 추출하여 SLAM에 이용하기 위해 우리는 스테레오 비젼 센서를 사용하였다.

그러나 스테레오 비젼은 획득한 영상의 모든 픽셀 위치에서 정확한 거리 정보를 구할 수 없으며, 따라서 인식된 물체 내의 모든 영역에서의 정확한 거리 정보도 얻을 수 없게 된다. 이를 해결하기 위해, SLAM의 point landmark와 같이 물체의 중심점을 대표점으로 하고, 인식된 물체 내의 다른 점들과 중심점과의 상관 관계를 이용하여 보다 정확한 중심점의 거리 정보를 얻는 과정을 구현하였다.

영상 좌표와 평행한 x, y 방향의 물체 중심점의 거리 정보(x _m , y _m )는 어떤 후처리 없이도 비교적 정확하게 얻을 수 있다. 하지만 z 방향의 거리 정보인 z _m 은 스테레오 비젼 센서의 특성상 부정확한 거리 정보를 얻는 경우도 발생하게 된다.

이러한 경우에도 좀 더 정확한 물체 중심점의 거리 정보를 얻기 위한 조건으로, landmark로 사용되는 물체는 평면으로 이루어져 있다는 가정을 하였다. 이 가정하에서 인식된 물체 영역내의 픽셀들은 동일 평면 상에 위치하고 있어하며, 이를 위배하는 픽셀들의 거리 정보는 부정확한 거리 정보로 분류되어야 한다. 이러한 과정을 위해 도9과 같이 물체 영역 내의 픽셀들을 샘플링하고, RANSAC clustering을 이용하여 평면 방정식(ax＋by＋cz＋d＝0)의 매개변수(a,b,c,d)를 추정하였다. 그 결과 부정확한 거리 정보를 가진 픽셀은 clustering이 되지 않아 매개변수 추정에 영향을 주지 않게 되어, 보다 정확한 평면 방정식의 매개변수를 얻을 수 있게 되었다.

데이터베이스에 저장되어 있던 물체의 중심점 위치로부터 앞서 구해진 homography transformation M _o→s 을 통해 현재 영상에서의 위치인 (r _m ,c _m )을 구할 수 있다. 또한, (r _m ,c _m )과 중심점의 거리 정보 (x _m ,y _m ,z _m )과의 관계는 비젼 센서 모델로부터 얻어지며 아래와 같다.

(수학식 8)

(수학식 9)

여기서 (u _o ,v _o )는 영상 좌표에 대한 비젼 센서 중심점의 위치이고, f는 비젼 센서의 초점거리를 의미한다. 중심점 역시 추정된 평면 방정식 상에 존재해야 하므로, 아래의 수학식 10을 만족해야 한다.

(수학식 10)

수학식8, 9, 10로부터 인식된 물체의 중심점의 깊이 정보인 z _m 은 아래와 같이 결정되게

된다.

(수학식 11)

이러한 과정을 통해 얻어진 visual object와 중심점까지의 거리 정보는 강인한 data association이 가능한 point feature와 정확한 거리 정보로 사용될 수 있으며, 이로 인해 정확하고 강인한 SLAM 구현이 가능해지게 된다.

III. 동시 위치인식 및 지도형성 : EKF SLAM

Extended Kalman Filter (EKF)는 feature 기반의 지도를 이용한 SLAM에서 가장 많이 사용되는 방법 중 하나이다. EKF에서는 센서의 부정확성을 white gaussian noise로 가정하여, 최소 자승 오차를 가지는 추정값을 얻을 수 있도록 한다. EKF SLAM에서는 로봇의 위치 정보와 지도 정보를 state로 나타내며(수학식 12), state 에 대한 uncertainty를 covariance matrix로 나타내어(수학식 13), 이를 매 단계마다 recursive하게 update 해주게 된다.

(수학식 12)

(수학식 13)

State와 covariance matrix를 update하는 과정은 크게 다음과 같이 4 단계로 나누어진다.

1. Prediction

첫 단계는 이전 단계의 데이터로부터 현재 단계의 데이터를 예측하는 과정이다. 이 과정에서는 odometry로부터 속도 정보를 받아들여, 로봇의 기구학적 특성으로부터 위치와 방향을 예측하게 된다(수학식 14). 이 때, 지도의 정보에 대해서는 로봇이 현재 단계에서 측정을 하기 전이므로, 이전 단계 정보를 그대로 이용하게 된다(수학식 15).

(수학식 14)

(수학식 15)

이와 같이 예측된 state에 대한 covariance matrix의 update는 아래의 수학식 16을 통해 수행된다.

(수학식 16)

2. Measurement Prediction

두 번째 단계는 measurement prediction 단계로, 예측된 로봇의 현재 위치에 서 measurement model을 이용하여 센서 측정값을 예측하는 과정이다.

(수학식 17)

위의 식에서 h는 measurement model로, 초음파 센서의 point feature와 line feature 그리고 인식된 물체의 중심점은 각각의 경우에 해당하는 measurement model을 적용하게 된다.

3. Innovation

세 번째 단계는 실제 얻어진 센서 측정 값과 measurement prediction 단계에서 얻어진 예측된 센서 측정 값과의 차를 구하는 과정이다. 예를 들어, j번째 landmark를 측정하였다면, 이에 대한 innovation은 수학식 18과 같다.

(수학식 18)

이렇게 얻어진 innovation의 covariance는 수학식 19와 같다.

(수학식 19)

4. Update

EKF SLAM의 마지막 단계는 구해진 innovation을 이용하여, 최종적으로 state와 covariance matrix를 update하는 과정이다. 이들 각각에 대한 update 과정은 수학식 21과 같다.

(수학식 20)

(수학식 21)

위 식에서 W는 Kalman gain으로, 수학식 22로부터 얻어진다.

(수학식 22)

5. Data Association

SLAM 알고리즘에서의 가장 어려운 부분 중 하나는 data association이다. Data association은 현재 측정한 feature가 기존에 인식했던 landmark들 중 어느 것과 일치하는지 혹은, 새로운 landmark 인지를 판단하는 과정이다. 잘못된 data association은 SLAM 알고리즘이 발산하게 하거나 잘못된 landmark의 추가로 인한 계산량 증가로 알고리즘의 실시간 구현을 어렵게 하므로, SLAM에서는 정확한 data association이 요구된다.

a) 초음파 feature의 data association

시각 정보를 이용한 방법이 아닌 경우, 대부분의 data association에서는 Mahalanobis distance에 의한 방법(수학식 23)이 이용된다.

(수학식 23)

이 때, 만약 한 단계에서 하나의 landmark가 아닌 여러 개의 landmark와 매칭될 경우, 인식된 feature들 간의 joint compatibility를 이용하여 더욱 엄격하고 정확한 data association을 수행할 수 있도록 하였다

b) Visual object의 data association

시각 센서를 사용하는 경우, 물체인식 과정은 SLAM에서의 data association과정을 대신할 수 있다. 특히, 초음파 센서와 같이 거리 정보에만 의존해 data association을 수행할 때 발생할 수 있는 부정확한 data association을 방지할 수 있으며, RANSAC clustering통해 얻은 중심점의 정확한 거리 정보로 SLAM state의 정확성을 향상시킬 수 있는 장점이 있다.

그러나 물체인식 기반의 SLAM도, 간혹 다른 물체로 인식을 하거나, 잘못된 스테레오 매칭으로 인해 부정확한 거리 정보가 발생하는 경우로 인해 영향을 받는 일이 있다. 도10은 잘못된 물체인식과 부정확한 거리 정보가 이동로봇의 SLAM 수행 중에 나타나고 있음을 보여준다.

발생 빈도는 드물지만, 이러한 부정확성을 배제하기 위해 초음파 feature의 data association 기법과 동일하게 Mahalanobis distance를 사용하는 probabilistic gating을 적용하였다. 하지만, 이 때는 초음파 feature의 경우와는 다르게, 일정 기준값보다 Mahalanobis distance가 클 경우 해당 visual object를 SLAM update에서 제외시켜 버리는 과정만을 수행한다. 즉, 부정확한 measurement가 있을 때는 거리 정보를 사용하여 이러한 데이터를 무시하게 되는 것이다. 그 결과, visual object에 기반한 정확한 data association을 계속 할 수 있으며, SLAM 알고리즘의 state와 covariance matrix의 수렴성과 안정성을 보장할 수 있게 된다.

또한, 처음 지도에 landmark로 포함시킬 때, 신뢰성 높은 visual object만을 선택하기 위해 map management과정을 추가로 구현하였다. 처음 해당 visual object를 발견했을 때는 potential landmark로 저장해 놓고, 이동로봇이 주행하면서 반복적으로 3번 이상 인식하게 되면 SLAM에서 이용하는 지도의 landmark로 승격시키는 과정을 수행하게 된다.

VI. 실험결과

제안된 알고리즘의 성능 평가를 위해 Bumblebee 스테레오 비젼 센서와 Polaroid 초음파 센서를 장착한 differential drive 방식의 이동로봇(도13)을 사용하여 두 장소에서 실험을 수행하였다.

1. 실험환경 1 : POSTECH 가정환경

먼저 가정환경의 방 하나의 크기에 해당하는 비교적 작은 공간에서 오랜 시간동안 이동로봇을 주행하면서, 제안된 알고리즘의 강인성과 안정성을 실험해 보았다.

실험은 POSTECH에 마련된 일반적인 가구와 전자제품, 액자 등이 갖춰져 있는 4m × 6m의 가정환경(도12(a))에서 이뤄졌다. 실험을 위해 주어진 가정환경에 존재하는 물체 중에서 선택하여, 9개의 평면 물체 데이터베이스(도12(b))(책꽂이 2개, 달력 1개, 서랍장 2개, 액자 3개, 오디오 1개)를 미리 구성하였다.

이동로봇은 약 50분동안 사람의 조작에 의해 자유롭게 주어진 환경에서 0.15m/s의 속도로 약 250m를 주행하였다. 초음파 센서 데이터는 주행동안 SLAM을 위한 초음파 feature를 추출하는 동시에, SLAM 알고리즘이 발산을 하지 않고 제대로 작동하고 있는지를 확인하게 위한 grid map을 작성하는 과정에도 이용되었다.

제안된 알고리즘의 성능은 도13과 같이 주어진 가정환경에 대한 정보를 정확히 담고 있는 실험결과로 확인할 수 있다. 이동로봇은 총 5개의 visual object(하늘색)와 26개의 point feature(연두색), 그리고 22개의 line feature(파란색)를 landmark로 인식하였다. 또한 초음파 grid map(검은색)으로부터 이동로봇의 자세와 landmark의 위치들이 정확히 추정되고 있음을 확인할 수 있다. 또한, 표 II에서 보 듯이 50분 주행 후 로봇이 초기 위치로 돌아왔을 때, odometry만의 상대위치 인식결과에 비해 제안된 SLAM 기법으로 추정된 결과의 오차가 적음을 알 수 있다. 특히, 30배 이상 작은 방위 오차는 제안된 알고리즘이 오랜 시간 주행에도 발산하지 않고 제대로 동작하고 있음을 확인시켜 준다.

표 II: 이동로봇의 최종 주행 오차

2. 실험환경 2 : ETRI 가정환경

실제 가정환경과 같은 크기에 해당하는 15m × 7m 공간에서 0.15m/s의 속도로 이동로봇을 한 바퀴 주행하면서, 실제 환경에서의 제안된 알고리즘의 정확성을 실험해 보았다.

앞의 실험과 마찬가지로 주어진 ETRI 가정환경(도14(a))에 존재하는 물체에서 10개의 평면 물체 데이터베이스(도14(b))(액자 3개, 포스터 4개, 달력 1개, 가전제품 1개, 장식장 1개)를 선택하였다.

같은 환경에서 두 번의 실험을 수행하였다. 첫 번째 결과(도15(a))는 정적인 환경에서 이동로봇을 주행하였을 때의 결과로, 총 9개의 visual object와 13개의 point feature, 20개의 line feature를 landmark로 인식하였다. 두 번째 결과(도15(b))는 이동로봇의 주행 중 사람이 로봇 주변에서 이동을 하였을 때의 결과이다. 총 8개의 visual object를 인식하였고, 동적 장애물의 영향으로 초음파 feature가 증가하여 17개의 point feature, 31개의 line feature를 인식하였으며, grid map 또한 동적 장애물의 흔적이 남겨져 있음을 확인할 수 있었다. 두 실험에서의 최종 위치 오차는 표 III에서와 같이 일정 오차 범위 안에 들어오고 있으며, 이로부터 SLAM 알고리즘의 정확성을 확인할 수 있다.

표 III: 이동로봇의 최종 주행 오차

본 발명에서는 초음파 센서와 비젼 센서를 통합하여 가정환경에 적용가능한 SLAM 알고리즘을 제안하였다.

초음파 센서의 경우, TBF 알고리즘을 바탕으로 하고 추가적인 알고리즘의 적용을 통해 SLAM에 적합한 point feature 인식 방법을 제안하였다. 또한, 이웃한 초음파 센서 3개가 유사한 거리 값을 보이게 되는 line feature의 특성으로부터 line feature를 인식할 수 있는 방법을 제안하였다. 제안된 초음파 feature 인식 기법은 센서 오차에 강인하게 작동하도록 하였으며, 정확한 feature 정보를 주는 것과 동시에 가능한 많은 feature가 얻어질 수 있도록 하였다.

비젼 센서를 이용한 물체 인식 알고리즘에서는 MSHC 특징점과 SIFT 특징량을 이용한 강인한 물체 인식 방법을 제안하였으며, 이를 SLAM 알고리즘에 이용하기 위 해 물체의 중심점을 대표점으로 삼아 이에 대한 거리 정보를 얻을 수 있도록 하였다. 제안한 물체 인식 알고리즘은 가정 환경에 적합한 인식 기법을 제공하며 정확한 거리 정보 획득과 더불어 강인한 data association을 통해 안정적인 SLAM 알고리즘 구현이 가능하도록 하였다.

본 연구에서는 개발된 초음파 센서 feature 인식 기법과 비젼 센서를 이용한 물체 인식 기법을 통합함으로 서로의 단점을 보완하며 각각의 센서가 가지는 장점을 동시에 이용할 수 있도록 하였다. 초음파 센서가 가지는 부정확한 data association의 가능성과 이로 인한 SLAM 알고리즘의 발산 가능성을 강인한 data association이 가능한 비젼 센서를 통해 보완하였다. 또한 비젼 센서가 가지는 많은 계산량으로 인해 느린 주기로 update 될 수 밖에 없는 문제점과 조명 변화시 발생하는 물체 인식의 실패 가능성을 빠르게 추출되는 초음파 feature로 극복할 수 있었다. 이를 기반으로 초음파와 비젼 센서를 이용한 강인한 SLAM 알고리즘을 구현하였다. 제안된 알고리즘은 EKF SLAM을 이용하여 다양한 가정환경에서 그 결과를 검증하였으며, 장시간의 주행 후에도 정확한 로봇 위치와 지도 정보를 얻을 수 있음을 확인할 수 있었다.

Claims

초음파 센서와 비젼 센서를 기반으로 하는 이동로봇의 확장된 칼만 필터 동시 위치인식 및 지도형성 방법에 있어서,

초음파 센서를 이용한 피처(Feature)인식 방법은, 상기 초음파 센서로부터 얻은 데이터를 처리하여 점 피처와 선피처를 동시에 인식하며;

비젼 센서를 이용한 물체인식 방법은,

Multi-Scale Harris Corner(MSHC) 특징점 추출 방법을 사용하고; 이 특징점 추출은 다운 샘플링 방식을 사용하며; 각각의 특징점 주변의 영상 정보를 나타내는 특징량은 Scale Invariant Feature Transform(SIFT)을 사용하는 것을 특징으로 하는, 초음파 센서와 비젼 센서를 기반으로 하는 이동로봇의 확장된 칼만 필터 동시 위치인식 및 지도형성 방법.
제1항에 있어서, 상기 이동로봇에 대한 인식된 물항 상기 MSHC 특징점에 영상의 정보를 정보를 측정하기 위하여, 하기 식의 앤트로피(H)를 사용하여, 특징점 추출과정에서 각각의 특징점 i 주변의 영상으로부터 엔트로피 H _i를 계산하고, 이 값이 기준값보다 작게 되면 물체인식에 사용되는 특징점에서 제외시키는 것을 특징으로 하는, 초음파 센서와 비젼 센서를 기반으로 하는 이동로봇의 확장된 칼만 필터 동시 위치인식 및 지도형성 방법.
제1항에 있어서, 상기 물체인식은,

가정환경에 존재하는 물체의 정확한 인식을 위해, 평면 물체 데이터베이스를 미리 구성하고, 현재의 영상 정보에서 물체를 인식하기 위하여 상기 평면 물체 데이터베이스 정보로부터 하기 식의 측정(measure)에 기반으로 하는 RANSAC 클러스터링(clustering) 방법을 사용하는 것을 특징으로 하는, 초음파 센서와 비젼 센서를 기반으로 하는 이동로봇의 확장된 칼만 필터 동시 위치인식 및 지도형성 방법.
제1항에 있어서, 비젼 센서를 이용한 물체인식 방법은, 이동로봇의 자세와 랜드마크의 위치를 정확히 추정하기 위하여, 상기 이동로봇과 인식된 물체의 상대적인 거리를 사용하고, 상기 인식된 물체의 중심점의 깊이는 하기식에 의해 결정되는 것을 특징으로 하는, 초음파 센서와 비젼 센서를 기반으로 하는 이동로봇의 확장된 칼만 필터 동시 위치인식 및 지도형성 방법.
제1항에 3있어서, 상기 점 피처를 인식하기 위하여, Triangulation-Based Fusion(TBF)방법에서, Stable intersection을 사용하는 것을 특징으로 하는, 초음파 센서와 비젼 센서를 기반으로 하는 이동로봇의 확장된 칼만 필터 동시 위치인식 및 지도형성 방법.
제1항에 있어서, 상기 점 피처를 인식하기 위하여, Triangulation-Based Fusion(TBF)방법에서, 로봇의 위치 변화가 주어진 값보다 작은 경우에는 슬라이딩 윈도우의 가장 최근 센서 데이터만을 현재 센서 데이터로 교체하는 방법을 사용하는 것을 특징으로 하는, 초음파 센서와 비젼 센서를 기반으로 하는 이동로봇의 확장된 칼만 필터 동시 위치인식 및 지도형성 방법.
제1항에 있어서, 상기 점 피처를 인식하기 위하여, Triangulation-Based Fusion(TBF)방법에서, 인접하는 초음파 센서에서의 거리 측정값과의 유사성을 이용하여 잘못된 점 피처를 제거하는 방법을 사용하는 것을 특징으로 하는, 초음파 센서와 비젼 센서를 기반으로 하는 이동로봇의 확장된 칼만 필터 동시 위치인식 및 지도형성 방법.
제1항에 있어서, 인접한 초음파 센서에서의 거리 측정값을 이용하여, 상기 라인 피처를 인식하는 것을 특징으로 하는, 초음파 센서와 비젼 센서를 기반으로 하는 이동로봇의 확장된 칼만 필터 동시 위치인식 및 지도형성 방법.