KR100792221B1

KR100792221B1 - 스테레오 비전의 시각 특징점과 초음파 센서의 선 형상의결합을 통한 동시 위치인식 및 지도형성 방법

Info

Publication number: KR100792221B1
Application number: KR1020060095245A
Authority: KR
Inventors: 안성환; 정완균; 이경민
Original assignee: 학교법인 포항공과대학교
Priority date: 2006-09-29
Filing date: 2006-09-29
Publication date: 2008-01-07

Abstract

본 발명은 초음파 센서의 선 형상을 기준으로 구성되는 스테레오 비전의 시각 특징점의 집합으로 정의되는 비주얼 평면을 사용하는 비전 기반의 동시 위치인식 및 지도형성에 관한 것이다.

본 발명은, 이동체의 동시 위치인식 및 지도 형성 방법에 있어서,

상기 이동체에 탑재된 스테레오 비전 센서의 영상으로부터 시각 특징점들을 결정하는 단계; 상기 이동체에 탑재된 초음파 센서로부터 얻어지는 선 형상을 추출하는 단계; 상기 선 형상 위의 수직한 평면에 대한 평행한 후보 평면들을 결정하는 단계; 상기 각각의 시각 특징점에서 상기 후보 평면들까지의 거리가 제1설정치 이내의 값을 가지는 시각 특징점만을 상기 후보 평면에 포함시켜서, 이 후보 평면 중에서 가장 많은 수의 시각 특징점을 포함하고 그 개수가 제2설정치 이상인 비주얼 평면을 추출하는 단계; 상기 비주얼 평면 내의 시각 특징점에 대한 정보를 데이터베이스에 등록하는 단계; 상기 등록된 비주얼 평면과 현재 관측된 비주얼 평면을 매칭시켜, 매치되는 경우에는 매칭되는 시각 특징점들은 그 위치 정보를 업데이트하고, 매칭되지 않는 시각 특징점들은 매칭되는 특징점들과의 상관관계에 의해 새롭게 상기 데이터베이스에 추가되는 단계를 포함하는 것을 특징으로 한다.

이동로봇, 초음파센서, 스테레오 비전, 위치인식, 지도형성

Description

스테레오 비전의 시각 특징점과 초음파 센서의 선 형상의 결합을 통한 동시 위치인식 및 지도형성 방법{Simultaneous Localization and Mapping Method by Combining Visual Feature of Stereo Vision and Line Feature of Ultrasonic Sensor}

도1은 추출된 Visual plane의 예를 도시함.

(a) 가정환경의 벽, (b) 전자제품(빨간 원 : visual plane을 구성하는 시각 특징점, 파란 점선 : visual plane의 범위)

도2는 시각 특징점의 추출과정을 도시함.

(a) multi-scale Harris corner 특징점 추출(노란 원), (b) 3차원 거리 정보가 있는 특징점 선택(파란 원), (c) 안정된 거리값을 가지는 특징점 선택(청록 원)

도3은 잘못된 거리 정보를 일으키는 경우를 도시함.

(a) specular reflection, (b) multi-path echo, 두 경우 bubble circle을 사용하여 제거 가능 (c) specular reflection, (d) multi-path echo (초록 선 : 올바른 거리 정보의 센서 데이터, 파란 원 : bubble circle 선택, 빨간 점선 : 잘못된 거리 정보의 센서 데이터 제거, 보라색 점선 원 : bubble circle 선택 제외)

도4는 Bubble circle의 선택 과정을 도시함.

(a) centerline model을 사용하여 12개의 초음파 센서 데이터를 점으로 대 체, (b) 로봇의 위치와 12개의 초음파 점을 사용하여 원을 생성, (c) bubble circle 선택

도5는 실험을 통해 실내 환경(도15)에서 얻은 선 형상(빨간 선)을 도시함.

도6은. 초음파 선형상을 따라 시각 특징점의 집합을 구한 예를 도시함

(a) 획득한 영상 (빨간 원 : visual plane으로 선택된 시각 특징점), (b) 결정된 visual plane (빨간 점 : 선택된 시각 특징점, 파란 점 : 제외된 시각 특징점, 청록 선 : 추출된 visual plane)

도7은 다시 관측된 시각 특징점의 위치를 업데이트하고 새로운 시각 특징점을 데이터베이스에 추가하는 과정을 도시함.

도8은 데이터베이스 강화 과정을 도시함(왼쪽 : 이전 데이터베이스, 오른쪽 : 새로 추가된 시각 특징점(녹색 원)을 업데이트 한 데이터베이스)

도9는 Visual plane을 사용하는 SLAM 알고리즘의 순서도를 도시함.

도10은 가정환경 I(ETRI)을 도시함.

도11은 가정환경 I에서의 SLAM 결과 비교를 도시함.

(a) visual plane, (b) visual object

도12는 가정환경 I에서 추정된 두 경로 사이의 오차를 도시함.

(a) x 방향, (b) y 방향

도13은 가정환경 I에서 추출된 visual plane을 도시함.

도14는 가정환경 I의 경우, 중복되는 visual plane의 결합을 도시함.

도15는 가정환경 II(아파트)를 도시함.

도16은 가정환경 II에서 얻은 visual plane에 기반한 SLAM 결과를 도시함.

도17은 가정환경 II에서 추정된 두 경로 사이의 오차를 도시함.

(a) x 방향, (b) y 방향

도18은 가정환경 II에서 추출된 visual plane을 도시함.

도19는 가정환경 II의 경우, 중복되는 visual plane의 결합을 도시함.

본 발명은 초음파 센서의 선 형상을 기준으로 구성되는 스테레오 비전의 시각 특징점의 집합으로 정의되는 비주얼 평면(visual plane)을 사용하는 비전 기반의 동시 위치인식 및 지도형성(simultaneous localization and mapping, SLAM)에 관한 것이다.

이동로봇이 주변 환경에 대한 아무런 정보 없이 자신의 위치를 인식하고 환경에 대한 정보를 형성하기 위해서는 위치인식(localization)과 지도형성(mapping)의 과정이 동시에 유기적으로 수행되어야 한다. 이를 이동로봇의 동시 위치인식 및 지도형성(simultaneous localization and mapping, SLAM)이라 한다.

이 때, 정확한 정보교합(data association)은 실내 환경에서 동작하는 실용적인 SLAM의 성능에 핵심적인 역할을 한다. 풍부한 정보량과 가격대비 높은 성능을 가지는 비전은 정보교합의 성능에 있어 좋은 결과를 보인다. 특히, D. G. Lowe, “Distinctive Image Features from Scale-Invariant Keypoints,” in International Jounal of Computer Vision, vol. 60, no. 2, pp. 91-110, 2004.에 개시된 SIFT(scale invariant feature transform)라는 시각 특징점을 직접 사용하는 비전 기반 SLAM 알고리즘들이 그 대표적인 예이다.

비전 기반 SLAM의 다른 접근 방법으로서, 우리가 보유하고 있는 물체를 기반으로 하는 SLAM이 있다. 이 방법에서는 미리 구성된 데이터베이스를 이용하여 물체 인식을 한 뒤, 물체라는 구속조건을 적용하여, 시각 특징점 집합을 구성하고 이를 SLAM에 적용한다. Visual object라 하는 인식된 물체는 SLAM에 있어 표식(landmark)의 역할을 한다. 그 결과, 사용되는 표식의 개수를 줄여 줄 수 있어 계산 효율을 높일 수 있으며, 개별적인 시각 특징점을 이용하는 경우보다 신뢰성 있는 정보교합이 가능하다. 또한, 데이터베이스에 존재하는 정적인 물체만을 이용하기 때문에, 사람과 같은 동적인 물체가 SLAM에 미치는 영향을 배재할 수 있는 특성이 있다.

그러나 이러한 visual object 기반의 SLAM 방법은 미지의 환경에서 동작해야하는 SLAM의 기본 가정을 위배한다. 비록 표식과 로봇의 위치를 모르는 상태에서 알고리즘을 통하여 추정을 하고 있지만, 이러한 방식의 SLAM은 로봇이 이동하는 환경에 존재하는 물체들을 미리 데이터베이스로 등록을 해 놓아야 하는 단점이 있다. 따라서 완전한 자율주행이 가능한 SLAM 알고리즘을 구현하기 위해서는 데이터베이스 없이 시각 특징점의 집합을 구성하는 능력을 필요로 한다.

하지만 현재 수준에서 복잡한 실제 환경에서 데이터베이스 없이 시각 정보만을 사용하여 자동으로 영상에서 물체를 인식하는 것은 매우 어려운 일이다.

기존의 연구는 영상에서 평면을 이루는 부분을 얻기 위해, 서로 다른 영상으로 투영된 평면간의 관계를 나타내는 호모그래피(homograph)라는 변환을 이용한다. 또한, 영상에서 선 요소를 추출하여 사각형 형상을 이루는 요소만을 선택하는 방법도 있다. 그러나 이러한 방법들은 복잡한 환경에서 잘못된 평면 요소를 얻을 수 있는 가능성이 높다. 이를 해결하기 위해, 비전과 거리 센서를 결합하여 정확한 거리 정보를 이용하는 방식을 이용한다. 특히, 비전과 레이저 거리 센서를 결합하여 평면 요소를 추출하는 알고리즘이 대표적인 예이다. 그러나 레이저 거리 센서의 정확성에도 불구하고, 가격적인 측면에서 실용적인 SLAM의 경제성을 만족시키지 못한다.

이러한 종래기술의 문제점을 감안하여, 본 발명에서는 연구는 실내 환경을 구성하는 벽이나 가구, 전자제품의 평면 요소들을 이루는 시각 특징점으로 구성된 수직 성분의 평면인 visual plane을 SLAM에 적용하는 방법을 제안한다.

설명의 편의상 먼저 본 발명을 보다 구체적으로 설명하면, 본 발명에서, visual plane의 추출은 초음파 센서의 선 형상을 따라 시각 특징점의 집합을 구성하여, 하나의 평면 요소에만 속하는 특징점들만을 선택해 주게 된다. 이를 위해, 가정환경에 적합한 시각 특징점을 추출하는 방법을 채택하고, 초음파의 반사현상(specular reflection, multi-path echo)으로 발생하는 잘못된 초음파 센서 데이터를 효과적으로 제거하여 정확한 선형상을 얻는 방법도 제안한다.

또한, 본 발명에서는 visual plane을 SLAM에 적용하기 위해, 추출한 visual plane을 데이터베이스에 등록하고, 업데이트를 통해 이를 유지하는 방법을 제안한다. 기존 데이터베이스에 없는 처음 인식된 visual plane은 데이터베이스에 새롭게 등록이 되며, 데이터베이스에 정보가 있는 경우에는 데이터베이스의 업데이트를 통해 시각 정보량을 증가시킨다. 이는 정보교합의 성능을 향상시켜, SLAM 알고리즘의 일관성(consistency)과 계산 효율성을 증가시킨다.

따라서 본 발명에서 제안된 방법은 다음과 같은 특성을 가진다.

첫째, 초음파 센서 선 형상의 안정적인 거리 정보와 시각 특징점의 뛰어난 구분 능력으로부터 나오는 특성을 융합하는 다중센서 기반의 SLAM 알고리즘이다.

둘째, visual plane은 그 구성 방식상, visual object의 장점을 그대로 유지할 수 있을 뿐만 아니라, 데이터베이스를 스스로 구성할 수 있다는 장점이 있다.

셋째, 실내 환경에서 로봇이 주행하면서, 자율적으로 시각 특징점의 집합을 구성할 수 있어 미지의 환경에 적용 가능하다.

이제 이상과 같은 본 발명의 과제를 달성하기 위한 본 발명의 구성 및 동작을 자세히 설명하기로 한다.

1. VISUAL PLANE의 구성요소

(1) 스테레오 비전의 시각 특징점

a. 시각 특징점의 추출

Multi-scale Harris corner 특징점과 SIFT 특징량의 장점을 결합한 시각 특징점을 영상에서 추출한다(도2(a)). Multi-scale Harris corner 특징점은 실내 환경의 자연스러운 물체들을 표현할 수 있는 코너 형태의 시각 불변 요소들로 이루어진다. 또한, 특징점 주변의 영상 정보를 담기 위해 SIFT 특징량을 추가적으로 사용한다. 이러한 방식은 다양한 시점 변화에서도 반복적이고 안정적인 매칭이 가능한 특성을 가지고 있다(S. Ahn, M. Choi, J. Choi and W. K. Chung, “Data Association Using Visual Object Recognition for EKF-SLAM in Home Environment,” in Proc. of IEEE/RSJ International Conference on Intelligent Robots and Systems, Oct., 2006, to appear 참고).

b. 거리 정보가 있는 특징점의 선택

초음파 센서의 선 형상을 따라 시각 특징점을 구성하기 위해 각각의 특징점들은 3차원 거리 정보를 가져야 하며, 이를 위해 스테레오 비전을 사용한다. 스테레오 비전에서 얻은 거리 정보를 활용하여 0.5m에서 4.0m의 적합한 범위를 가지는 시각 특징점만을 선택한다(도2(b)).

c. 안정적인 특징점의 선택

평면 요소의 가장자리에 위치하는 불안정한 시각 특징점은 잘못된 visual plane 추출에 영향을 미칠 수 있다. 이러한 불안정 요소들은 스테레오 비전에서 얻 은 거리 정보의 연속성을 조사하여 제거할 수 있다. 안정적인 특징점만을 선택하는 통계적 방법은 아래와 같다.

1) 각각의 특징점에 대하여 0.3m?0.3m 크기의 샘플링 영역을 정한다.

2) 샘플링 영역 내의 거리 정보를 조사하여, 깊이 방향에 대한 표준 편차를 계산한다.

3) 0.0m에서 0.2m의 범위에 있는 깊이 방향의 표준 편차를 가지는 특징점만을 선택한다(도 2(c)).

이러한 방식은 잘못된 거리정보를 가지고 있으며, 실제 평면 요소를 이루지 않은 시각 특징점들을 효율적으로 제거해 줄 수 있다.

(2) 초음파 센서의 선 형상

a. 잘못된 초음파 센서 데이터의 제거

초음파의 반사 성질로 인해 초음파 센서 데이터의 잘못된 거리 정보가 나오는 경우(specular reflection, multi-path echo)가 자주 발생한다. Specular reflection은 초음파의 입사각이 일정 각도 이상일 경우(도3(a))에 일어나며, multi-path echo는 모서리 부근에서 초음파가 여러 번 반사되는 경우(도3(b))에 발생한다. 두 경우 특정 조건에서만 일어나게 되며, 거리 값이 주변 센서 데이터에 비해 비정상적으로 길게 나오게 된다.

Bubble circle(BC)은 이러한 초음파 센서 데이터의 잘못된 거리 정보가 가지는 특성을 효율적으로 제거할 수 있으며, 그 과정은 아래와 같다.

1) 12개의 초음파 센서 데이터를 중심선 모델(centerline model)(H. Choset, K. Nagatani, and N. A. Lazar, "The arc-transversal median algorithm: A geometric approach to increasing ultrasonic sensor azimuth accuracy,“ IEEE Trans. on Robotics and Automation, vol. 19, no. 3, pp. 513-523, 2003. 참고)을 사용하여 점으로 표현한다(도4(a)).

2) 일반적으로 두 점이 있다면, 그 두 점의 길이를 지름으로 해서 원을 구성할 수가 있다. 따라서 같은 방식으로 로봇과 12개의 점을 사용하여 각각 12개의 원을 구성한다(도4(b)).

3) 한 원안에 점을 포함하지 않는 원만을 선택하고, 이를 bubble circle이라 정의한다(도 4(c)).

Bubble circle의 정의에 의해서 주변 센서 데이터에 비해 비정상적으로 길게 나오는 센서 데이터는 항상 다른 센서 데이터의 점을 포함하게 되므로, bubble circle로 선택될 수 없다. 예를 들면, 도3(c), 도3(d)와 같이 잘못된 센서데이터로부터 형성된 보라색의 점원은 항상 주변 센서 데이터 점을 포함하게 되므로, bubble circle이 될 수가 없다. 따라서 specular reflection이나 multi-path echo 와 같은 잘못된 센서 데이터는 bubble circle 조건에 의해 제거될 수 있다.

b. 선 형상의 추출

잘못된 센서 데이터들이 제거된 초음파 센서의 데이터만을 사용하여, 정확한 초음파 센서의 선 형상을 얻을 수 있다.

초음파 센서는 넓은 빔 폭을 갖는 성질이 있다. 이러한 성질로 인해, 링 배열의 초음파 센서 앞에 선 요소가 나타나면, 연속된 세 개의 초음파 센서 데이터는 비슷한 거리를 가지며, 그 중 가운데 데이터는 가장 작은 값이 나오게 된다.

Bubble circle을 통해 얻어진 초음파 센서 데이터에 위의 조건을 만족하는 데이터만을 선택하면, 아래와 같은 순서로 선 형상을 추출할 수 있다.

1) 조건을 만족하는 연속된 세 개의 센서 데이터의 중심선 모델을 이용하여 세 점을 정한다.

2) 세 점에 최소 자승법을 적용하여 기울기를 결정하고, 가운데 점을 지나는 선 형상을 구한다.

3) 초음파의 빔 폭에 해당하는 길이를 구해 선 형상의 길이를 결정한다.

실제 환경에서 선 형상을 구한 결과는 도5와 같다. 주어진 환경의 가장자리를 따라 선 형상(빨간 선)이 나타남을 확인할 수 있으며, 제안된 방법의 좋은 성능을 보여준다.

3. VISUAL PLANE에 기반한 SLAM 알고리즘

(1) Visual plane의 추출

스테레오 비전에서 얻어진 모든 시각 특징점이 3차원 거리 정보를 가지고 있음에 비해, 초음파 센서의 선 형상은 2차원 정보만을 가진다. 이러한 이유로, visual plane을 구하기 위해 선 형상 위에 수직의 평면이 존재하고, 그 평면과 평행한 여러 visual plane의 후보 평면들이 존재한다고 가정한다.

위의 1-(2)-b에서 구한 선 형상의 현재 로봇 위치에 대한 거리(r)와 각도(θ)로부터 후보 평면들의 식을 다음과 같이 결정할 수 있다.

[수학식 1]

여기서 Δr_i는 각 후보 평면들의 오프셋 거리를 의미한다.

각각의 시각 특징점에서 후보 평면들까지의 거리를 구하고, 0.2m이내의 값을 가지는 특징점만을 그 평면에 포함시킨다. 가장 많은 수의 시각 특징점을 포함하며, 그 개수가 최소 10개 이상인 경우, 해당 평면이 visual plane으로 결정된다. 도6은 주어진 영상과 초음파 선 형상을 이용하여 visual plane을 추출하는 과정을 보여주는 한 예이다.

(2) 새로운 visual plane의 데이터베이스 등록 방법

로봇이 새로운 visual plane을 추출하게 되면, SLAM의 표식(landmark)으로 등록된다. 이 때, 임의의 한 점을 대표점으로 선택하여, 현재 로봇 위치에 대한 3차원 거리 정보를 저장하고, 이를 SLAM의 점 표식(point landmark)으로 결정한다(S. Ahn, M. Choi, J. Choi and W. K. Chung, “Data Association Using Visual Object Recognition for EKF-SLAM in Home Environment,” in Proc. of IEEE/RSJ International Conference on Intelligent Robots and Systems, Oct., 2006, to appear. 참고).

또한 새로운 visual plane에 대한 정보를 정보교합(data association)을 위해 데이터베이스에 등록한다. 데이터베이스를 이루는 요소는 평면 내의 각 시각 특징점에 대해 1) 영상 좌표에 대한 위치, 2) 스케일, 방향성, 특징량, 3) 대표점으로부터의 3차원 상대 거리 정보로 구성된다.

상대 거리 정보는 로봇의 주행 중에 visual plane을 다시 보았을 때, visual plane에 포함되어 있던 각 특징점들의 거리 정보를 업데이트하고, visual plane에 없는 특징점들을 새롭게 데이터베이스에 추가하는 과정을 구현하는데 필요하다.

이 때, j번째 visual plane의 상대 거리 정보는 대표점의 위치 x_t _,j에 대해 X_rel _,j로 표현된다.

[수학식 2]

여기서 x_i _,j는 j번째 visual plane의 i번째 시각 특징점의 3차원 거리 정보를 의미한다. 그리고 대응되는 공분산(covariance) P_rel _,j은 각 특징점의 관측 공분산(measurement covariance) R로 표현된다.

(3) 업데이트를 통한 데이터베이스의 유지 방법

로봇이 기존의 visual plane을 다시 보게 되면, 물체인식(S. Ahn, M. Choi, J. Choi and W. K. Chung, “Data Association Using Visual Object Recognition for EKF-SLAM in Home Environment,” in Proc. of IEEE/RSJ International Conference on Intelligent Robots and Systems, Oct., 2006, to appear. 참고)과 같은 방법으로 데이터베이스에 관측한 plane을 매치할 수 있다.

이전의 3-(2)에서 언급하였듯이, 데이터베이스에는 대표점에 대한 3차원 상대 거리 정보가 들어가 있다. 이 데이터베이스에 등록되어 있던 visual plane과 현재 관측한 visual plane이 매칭되는 경우, 매칭되는 특징점들은 그 위치 정보를 업데이트 시킬 수 있다. 반면에 매칭되지 못한 특징점들은 매칭되는 특징점들과의 상관관계에 의해 새롭게 데이터베이스에 추가시킬 수 있다.

결과적으로 데이터베이스의 시각 정보량을 증가시켜, 정확한 정보교합이 가능해지고, SLAM 알고리즘의 성능이 향상된다. 도7은 데이터베이스를 업데이트하고 추가하는 방법을 보여주는 도식이다.

a. 재 관측된 시각 특징점의 업데이트

데이터베이스에 등록되어 있는 visual plane에 포함되어 있는 시각 특징점의 상대 위치정보를 업데이트하기 위해, Kalman 업데이트(Y. Bar-Shalom, X. R. Li, and T. Kirubarajan, “Estimation with Applications to Tracking and Navigation,” John Wiley, 2001.참고)를 사용한다.

먼저, j번째 visual plane과 정보교합이 된, 현재 위치에서 관측한 visual plane의 3차원 거리 정보는 다음과 같이 나타난다.

[수학식 3]

여기서, x_m1, …, x_mk는 j번째 visual plane의 시각 특징점 x_φ(m1),j …, x_φ( _mk _),j와 매칭되며, φ(·)는 두 시각 특징점의 인덱스를 대응하는 정보교합 함수를 의미한다. x_u1, …, x_ul는 매칭되지 못한 시각 특징점을 의미한다.

이어서 매칭된 시각 특징점 사이에는 아래의 식과 같은 상관관계를 구할 수 있다.

[수학식 4]

이로부터 상대 거리 정보를 유지하는 구속조건인

[수학식 5]

[수학식 6]

[수학식 7]

를 얻을 수 있다.

마지막으로, 이러한 구속조건은 Kalman 업데이트 과정을 통해, 보다 정확한 상대 거리 정보 Xcrel,j와 대응되는 공분산 Pcrel,j을 얻을 수 있게 된다.

[수학식 8]

[수학식 9]

[수학식 10]

b. 기존의 데이터베이스에 새로운 시각 특징점 추가

업데이트된 시각 특징점을 이용하여, 매칭되지 못한 특징점을 새롭게 데이터베이스에 추가할 수 있다. 즉, 새로운 특징점들을 기존의 데이터베이스가 형성되었을 때의 로봇의 위치에 대한 3차원 정보(x_i, y_i, z_i)로 표현할 수 있다(도7).

또한 이렇게 얻어진 3차원 정보는 카메라 모델을 사용하여, 마치 기존의 데이터베이스가 형성되었을 때 얻어진 것처럼 이전 영상 좌표에 대해 표현할 수 있다.

[수학식 11]

[수학식 12]

여기서 (u_o, v_o)는 영상 좌표에서의 카메라 중심점 위치이고, f는 초점거리를 의미한다.

이러한 과정은 새로운 시각 특징점을 데이터베이스에 추가하고, 데이터베이스의 시각 정보량을 증가시켜, 더욱 정확한 정보교합을 가능하게 한다(도 8).

(4) 형성된 visual plane의 관리

영상 변환에 대해 시각 특징점이 불변의 특성을 가지고 있으므로, 추출된 visual plane 역시 같은 특성을 지닌다. 그러나 2-(1)에서 안정된 시각 특징점을 얻기 위해 통과하기 어려운 조건을 걸어주었기 때문에 매칭되는 시각 특징점의 개수가 줄어들게 되어, 중복된 visual plane이 얻어지기도 한다. 그 결과, 비슷한 visual plane이 데이터베이스에 새로운 요소로 추가되어, SLAM 표식의 개수를 증가시킨다.

이러한 문제를 해결하기 위해 본 발명에서는 SIFT에 기반을 둔 자동화된 모자이크 알고리즘(M. Brown and D. G. Lowe, “Recognising panoramas,” in Proc. of International Conference on Computer Vision, pp. 1218-1225, 2003. 참고)을 이용한다. 정렬되지 않은 채 중복된 부분이 포함된 영상들을 사람의 조작 없이 자동으로 이어 붙여 하나의 완성된 영상을 얻는 방법이다. 또한 이 알고리즘은 카메라의 시점 변화나 조명변화에도 강인한 특성을 가지고 있다. 모자이크 알고리즘을 실제 실험에 사용한 결과는 아래의 실험결과 부분에서에서 설명한다.

(5) 알고리즘의 전체 구조

앞서 언급하였듯이, visual plane은 초음파 센서의 선 형상이 있을 때만, 새롭게 인식되어 데이터베이스에 등록되거나 데이터베이스에 있는 정보를 다시 업데이트 할 수 있다. 그러나 SLAM의 경우 가능한 많은 경우 비전 정보를 이용해야 하므로, 선 형상이 없는 경우에도 SLAM 정보의 업데이트가 필요하다. 이와 같은 이유로, 초음파 선 형상을 이용할 뿐만 아니라, 그동안 형성된 데이터베이스를 사용하여 물체인식 방법(S. Ahn, M. Choi, J. Choi and W. K. Chung, “Data Association Using Visual Object Recognition for EKF-SLAM in Home Environment,” in Proc. of IEEE/RSJ International Conference on Intelligent Robots and Systems, Oct., 2006, to appear. 참고)으로 스테레오 비전만을 의존한 SLAM 알고리즘을 추가적으로 구현한다. Visual plane을 사용하는 SLAM의 전체적인 구조는 아래 도9와 같다.

4. 실험 결과

Visual plane을 사용하는 SLAM의 성능을 검증하기 위하여, 두 종류의 환경에 대해 실험을 하였다. 로봇은 ActiveMedia사의 Pioneer3-DX를 사용하였고, Murata사의 12개의 압전 방식 초음파 센서와 PointGrey사의 bumblebee 스테레오 비전을 장착하였다.

주어진 환경 전체에 있는 평면 요소들을 추출하기 위해, 초음파 센서를 사용하여 벽을 따라 로봇은 0.2m/s의 속도로 2 바퀴를 주행하였다. 이렇게 거리 센서를 사용하는 센서 기반 방식의 주행(sensor-based navigation)을 하는 경우, 두 바퀴의 경로가 서로 거의 일치해야 한다는 특성이 있다. 그러므로 두 경로의 일치하는 정도를 통해 제안한 방법의 성능을 확인할 수 있다.

(1) 가정환경 I (ETRI)

ETRI 가정환경(도10)은 로봇의 주행 성능을 평가하기 위한 15m?9m 크기의 테스트 장소이다. 이곳에는 실제 가정환경을 모사하기 위해, 가구, 전자제품, 액자 등이 배치되어 있다.

제안한 visual plane을 사용하는 SLAM 방법의 실험 결과는 도11(a)과 같다. 성능 비교를 위해 미리 구성된 데이터베이스를 이용하는 visual object를 사용한 결과(도11(b))도 같이 제시한다. 여기서 초록 점선은 오차가 있는 누적된 오도메트리(odomery)의 경로를 나타내며, 파란 선은 SLAM에 의해 추정된 로봇의 경로를 보여준다. 빨간 선과 파란 원은 각각 초음파 센서의 선형상과 점형상을, 초록 원은 각각의 경우에 따라 visual plane과 visual object를 나타낸다.

또한 벽을 따라 주행한 두 경로의 차이는 제안된 SLAM 알고리즘의 성능을 보여준다. Visual plane과 visual object를 사용하는 두 경우, 추정된 경로 사이의 오차 크기가 거의 동일함을 알 수 있으며(도12), 경로의 형상도 거의 동일함을 알 수 있다(도11).

그러나 우측 하단(9m, -2m) 주변의 추정된 경로를 비교하면(도11), 두 결과의 차이를 확인할 수 있다. Visual plane을 사용하는 경우의 성능 향상은 visual object보다 보다 많은 시각 정보를 포함하는 visual plane의 특성에서 유래된다. 로봇이 주행하면서, 데이터베이스의 업데이트와 정보 강화를 통해 더 많은 시각 정보를 획득하게 된다. 더욱이, 제안된 방법은 미리 구성되어야 하는 데이터베이스 없이도, 로봇이 주행하는 동안 자율적으로 데이터베이스를 구성할 수 있는 장점도 가지고 있다.

Visual object를 사용하는 SLAM과 비교하였을 때, visual plane을 사용하는 경우는 매 계산 단계마다 약 0.2초 정도의 계산 시간을 추가적으로 필요로 한다. 그러나 이러한 경우에도 로봇은 1Hz의 비전 샘플링을 할 수 있어, 실시간 구현이 가능하다.

또한 로봇은 전체 환경에서 7개의 visual plane을 추출하였다(도13). 비록 2번과 3번 visual plane이 같은 액자의 부분을 이루고는 있지만, 실제로 로봇은 두 visual plane의 공통된 시각 특징점을 찾지 못해, 이 둘을 다르게 구분한다. 하지만 모자이크 알고리즘(3-(4))을 적용하면, 다르게 인식된 두 visual plane을 로봇 스스로 하나로 합쳐 줄 수 있다(도14).

(2) 가정환경 II (아파트)

좀 더 일반적인 환경에서 결과를 얻기 위해 실제 가족이 거주하는 아파트(도15)에서 실험을 수행하였다. 로봇은 벽면을 따라 침실, 서재, 거실, 주방을 이동하며, 11m?8m 크기의 환경에 대해 SLAM을 수행하였다. 최종적으로 얻은 환경 지도와 추정된 로봇 경로는 그림 16처럼 나타나며, 두 추정 경로는 비교적 잘 일치하고 있어(도17), 제안된 알고리즘의 성능을 확인할 수 있다.

실험 결과, 로봇은 18개의 visual plane을 인식하였고(그림 18), 6과 7번, 15번과 16번 visual plane을 모자이크 알고리즘을 통해 하나의 visual plane으로 결합하였다(도19). 이러한 방법은 SLAM으로 형성된 지도 결과물인 visual plane의 중복성을 제거해 준다.

본 발명에서는 시각 특징점으로 구성되는 visual plane을 사용하여 실내 환경에서 동작하는 SLAM알고리즘을 다루었다. 이러한 방법은 visual object를 사용한 SLAM의 장점을 유지하면서, 데이터베이스를 미리 구성할 필요가 없는 특징이 있다.

또한, 본 발명에서는 visual plane과 관련된 세 가지 방법을 제안한다.

첫째, multi-scale Harris corner 특징점과 SIFT 특징량의 장점을 결합한 시각 특징점의 선택하는 방법이다.

둘째, specular reflection이나 multi-path echo 현상과 같은 초음파의 반사 성질에 의해 나타나는 거리 정보의 오차의 원인을 분석하고, 이를 해결한다. 또한, 이렇게 걸러진 초음파 센서 데이터로부터 정확한 선 형상을 얻을 수 있는 방법에 대하여 제안한다.

마지막으로, 초음파 센서의 선 형상을 사용하여 시각 특징점의 집합을 구성하여 visual plane을 추출하고, SLAM을 위해 이를 유지하는 방법을 제안한다. 제안된 방법의 성능 검증을 위해 다른 두 종류의 가정환경에서 실험을 수행하였다.

그 결과, 로봇은 벽면을 따라 주행하면서, 자동으로 visual plane을 이용하여 정확히 SLAM을 하였다. 더욱이, 각각의 visual plane은 서로 겹치지 않고 다르게 등록되어, 제안된 방법의 정확한 정보교합 성능을 보여준다.

Claims

이동체의 위치인식을 위한 지도 형성 방법에 있어서,

상기 이동체에 탑재된 스테레오 비전 센서의 영상으로부터 시각 특징점들을 결정하는 단계;

상기 이동체에 탑재된 초음파 센서로부터 얻어지는 선 형상을 추출하는 단계;

상기 선 형상 위의 수직한 평면에 대한 평행한 후보 평면들을 결정하는 단계;

상기 각각의 시각 특징점에서 상기 후보 평면들까지의 거리가 제1설정치 이내의 값을 가지는 시각 특징점만을 상기 후보 평면에 포함시켜서, 이 후보 평면 중에서 가장 많은 수의 시각 특징점을 포함하고 그 개수가 제2설정치 이상인 비주얼 평면을 추출하는 단계;

상기 비주얼 평면 내의 시각 특징점에 대한 정보를 데이터베이스에 등록하는 단계;

상기 등록된 비주얼 평면과 현재 관측된 비주얼 평면을 매칭시켜, 매치되는 경우에는 매칭되는 시각 특징점들은 그 위치 정보를 업데이트하고, 매칭되지 않는 시각 특징점들은 매칭되는 특징점들과의 상관관계에 의해 새롭게 상기 데이터베이스에 추가되는 단계를 포함하는 것을 특징으로 하는 이동체의 위치인식을 위한 지도 형성 방법.
제1항에 있어서,

상기 시각 특징점들의 결정은, 상기 스테레오 비전 센서에서 얻은 거리 정보를 활용하여 상기의 추출된 시각 특징점 중에서 적합한 범위 내에 있는 시각 특징점만을 선택하여 결정되는 것을 특징으로 하는 이동체의 위치인식을 위한 지도 형성 방법.
제1항에 있어서,

상기 시각 특징점들의 결정은, 상기의 스테레오 비전 센서에서 얻은 거리 정보의 연속성을 이용하여 평면 요소의 가장자리에 위치하는 불안정한 시각 특징점을 제거하여 결정되는 것을 특징으로 하는 이동체의 위치인식을 위한 지도 형성 방법.
제1항에 있어서,

상기 선 형상의 추출은, 잘못된 초음파 센서 데이터가 제거된 후의 초음파 센서 데이터를 사용하여 얻어지는 것을 특징으로 하는 이동체의 위치인식을 위한 지도 형성 방법.
제4항에 있어서,

상기 잘못된 초음파 센서 데이터의 제거는 버블 서클 방법을 이용하는 것을 특징으로 하는 이동체의 위치인식을 위한 지도 형성 방법.
제1항에 있어서,

상기 매칭되는 시각 특징점들의 위치 정보의 업데이트는 칼만 업데이트 방법을 이용하는 것을 특징으로 하는 이동체의 위치인식을 위한 지도 형성 방법.
제1항에 있어서,

상기 매칭되지 않은 시각 특징점들의 위치 정보의 추가는 3차원 카메라 모델을 이용하는 것을 특징으로 하는 이동체의 위치인식을 위한 지도 형성 방법.