KR20130134986A

KR20130134986A - 사용자로부터 환경에 대한 사진 입력을 받는 이동로봇의 ｓｌａｍ 시스템 및 방법

Info

Publication number: KR20130134986A
Application number: KR1020120067662A
Authority: KR
Inventors: 조동일; 이태재; 이창훈; 김태일; 장병문
Original assignee: 서울대학교산학협력단
Priority date: 2012-05-30
Filing date: 2012-06-22
Publication date: 2013-12-10
Also published as: KR101380852B1

Abstract

본 발명은 이동로봇의 SLAM(Simultaneous Localization And Mapping) 시스템 및 방법에 관한 것이다. 본 발명의 일 실시예에 따른 이동로봇의 SLAM 시스템은, 사용자로부터 환경에 대한 정보나 명령을 입력받아 이동로봇으로 전송하는 사용자 단말기; 및 상기 사용자 단말기로부터 전송된 정보와 명령, 데이터 획득 장치로부터 획득한 주변 환경 정보 및 이동정보를 파악하여, 지도 작성을 수행하는 이동로봇을 포함한다.

Description

사용자로부터 환경에 대한 사진 입력을 받는 이동로봇의 ＳＬＡＭ 시스템 및 방법 {SLAM SYSTEM AND METHOD FOR MOBILE ROBOTS WITH ENVIRONMENT PICTURE INPUT FROM USER}

본 발명은 이동로봇의 SLAM(Simultaneous Localization And Mapping) 시스템 및 방법에 관한 것으로, 더 상세하게는, 이동로봇의 실시간 위치측정 및 지도작성 시, 미리 사용자로부터 주변 환경에 대한 일련의 사진 및 정보를 입력받아 지도의 기본틀을 생성하여 효율적으로 지도를 작성하거나, 작성된 지도의 수정 및 확장을 효율적으로 수행할 수 있는 이동로봇의 SLAM 시스템 및 방법에 관한 것이다.

이동로봇의 실시간 위치인식 및 지도작성(Simultaneous Localization And Mapping : SLAM)은 로봇이 미지의 환경을 돌아다니면서 로봇에 부착되어 있는 센서를 이용하여 스스로 위치를 인식하고 주변 환경에 대한 지도를 작성하는 작업으로 로봇의 자율주행을 위한 핵심 기술이다.

종래의 이동로봇의 SLAM 알고리즘은 초기 위치에서 주변 환경의 지도를 작성하고, 작성된 지도를 바탕으로 다시 이동한 로봇의 위치를 알아내는 과정을 반복하여 로봇의 위치와 주변 환경의 지도를 동시에 추정한다. 하지만 기존의 SLAM 알고리즘의 경우 로봇이 지도를 작성하는데 로봇이 직접 모든 환경을 돌아다녀야 하기 때문에 지도작성에 걸리는 시간이 길며, 작성된 지도를 수정하거나 확장하는 경우에도 모든 영역에 대한 지도작성을 다시 수행해야하는 문제점이 있었다.

따라서, 종래 기술의 문제점을 해결하기 위하여 효율적인 지도작성 및 지도 관리 기술이 필요하다.

본 발명의 목적은 이동로봇이 주변 환경에 대한 지도를 작성하는 경우 사용자로부터 일련의 사진 및 정보를 미리 입력받아 전처리를 통하여 지도생성의 기본 틀을 생성하여 지도를 효율적으로 작성하고, 작성된 지도를 수정 및 확장하는 경우에 사용자의 입력을 받아 효율적으로 지도를 관리하는 방법을 제안하는 것이다.

전술한 목적을 달성하기 위한 본 발명의 일 실시예에 따른 이동로봇의 SLAM 시스템은, 사용자로부터 환경에 대한 정보나 명령을 입력받아 이동로봇으로 전송하는 사용자 단말기; 및 상기 사용자 단말기로부터 전송된 정보와 명령, 데이터 획득 장치로부터 획득한 주변 환경 정보 및 이동정보를 파악하여, 지도 작성을 수행하는 이동로봇을 포함한다.

상기 사용자 단말기는, 환경에 대한 사진과 사용자의 명령이 입력되는 입력 장치; 상기 입력 장치에서 전달받은 정보를 상기 이동로봇에 전달하기 위한 정보의 형태로 변환하는 제1 처리장치; 및 상기 제1 처리장치에서 처리된 정보를 상기 이동로봇으로 전송하는 전송 장치를 포함할 수 있다.

상기 이동로봇은, 이동로봇에 장착되어 주변 환경에 대한 정보를 획득하거나, 이동로봇의 이동을 측정하는 수단인 데이터 획득 장치; 상기 데이터 획득 장치와 상기 사용자 단말기로부터 전송된 정보를 이용하여 실시간 지도작성, 작성된 지도의 관리 및 수정, 작성된 지도를 바탕으로 이동로봇의 위치를 파악하고 경로를 결정하는 기능을 수행하는 제2 처리장치; 및 상기 제2 처리장치에서 처리된 정보를 기반으로 이동로봇의 주행을 제어하는 주행부를 포함할 수 있다.

상기 데이터 획득 장치는 주변 환경에 대한 정보를 획득하는 센서로서 단안 카메라, 양안 카메라, 레이저 센서, 초음파 센서 또는 레이더 센서를 포함할 수 있다.

상기 데이터 획득 장치는 이동로봇의 이동을 측정하는 센서로서 엔코더, 가속도 센서 또는 각속도 센서를 포함할 수 있다.

본 발명의 일 실시예에 따른 이동로봇의 SLAM 방법은, 사용자 단말기로부터 전송된 사진을 포함한 환경 정보가 이동로봇에 전송되는 단계; 상기 이동로봇이 이동하면서 데이터 획득 장치를 통해 주변 환경 정보나, 이동로봇의 이동정보를 획득하는 단계; 상기 이동로봇의 제2 처리장치에서 상기 사용자 단말기로부터 수신한 정보와 상기 데이터 획득 장치에서 획득한 정보를 이용하여 지도를 작성하는 단계; 상기 사용자 단말기로부터, 작성된 지도에 대한 수정 혹은 확장의 명령과 수정 혹은 확장할 환경의 사진이 상기 제2 처리장치로 전달되면, 상기 제2 처리장치는 수정 혹은 확장할 환경에 대한 일련의 사진만을 이용하여 지도를 수정 혹은 확장하거나, 지도의 수정 혹은 확장할 부분으로 이동로봇을 이동시킨 후 데이터 획득 장치를 이용하여 획득된 정보를 바탕으로 지도를 수정 혹은 확장하는 단계; 및 상기 제2 처리장치에서 처리된 정보를 기반으로 이동로봇의 주행을 제어하는 단계를 포함한다.

상기 사용자 단말기로부터 전송된 사진을 포함한 환경 정보가 이동로봇에 전송되는 단계는, 주변 환경에 대한 사진이 카메라를 통하여 입력 장치에 입력되거나, 사용자의 명령이 입력 장치에 입력되는 단계; 상기 입력 장치로부터 전달받은 정보를 제1 처리장치에서 이동로봇에 전달하기 위한 정보의 형태로 변환하는 단계; 및 상기 제1 처리장치에서 처리된 정보를 전송 장치를 통해 이동로봇에 전송하는 단계를 포함할 수 있다.

상기 이동로봇의 제2 처리장치에서 상기 사용자 단말기로부터 수신한 정보와 상기 데이터 획득 장치에서 획득한 정보를 이용하여 지도를 작성하는 단계는, 상기 사용자 단말기로부터 수신한 일련의 사진 정보에 들어있는 환경에 대한 특징 정보를 추출하여 랜드마크를 설정하는 단계; 및 상기 랜드마크를 기준으로 지도의 일부분을 미리 작성하는 단계를 포함할 수 있다.

본 발명의 사용자로부터 환경에 대한 사진 입력을 받는 이동로봇의 SLAM 시스템 및 방법에 따르면, 이동로봇의 지도 작성 시, 사용자로부터 미리 환경에 대한 정보를 가진 상태로 지도 작성을 수행하기 때문에 효율적으로 지도를 작성할 수 있으며, 작성된 지도를 수정하거나 확장하는 경우에도 사용자가 지정한 영역에 한정하여 지도를 수정하거나 확장하기 때문에 지도를 효율적으로 관리할 수 있는 효과가 있다.

도 1은 본 발명의 일 실시예에 따른 이동로봇의 SLAM 시스템의 개념도이다.
도 2는 본 발명의 일 실시예에 따른 이동로봇의 SLAM 시스템의 구성을 도시한 블록도이다.
도 3은 본 발명이 일 실시예에 따른 이동로봇의 SLAM 방법을 도시한 순서도이다.

이하에서는 첨부한 도면을 참조하여 본 발명의 바람직한 실시예에 따른 이동로봇의 SLAM 시스템 및 방법에 대하여 상세하게 설명한다.

도 1은 본 발명의 일 실시예에 따른 이동로봇의 SLAM 시스템의 개념도이며, 도 2는 본 발명의 일 실시예에 따른 이동로봇의 SLAM 시스템의 구성을 도시한 블록도이다.

도 1 및 도 2를 참조하면, 본 발명의 이동로봇의 SLAM 시스템은 사용자 단말기(100) 및 이동로봇(200)을 포함한다.

본 발명의 일 실시예에서, 사용자 단말기(100)는 입력 장치(110), 제1 처리장치(120) 및 전송장치(130)를 포함하여 구성될 수 있다.

우선, 입력 장치(110)는 환경에 대한 사진을 촬영하는 카메라 및 정보 저장장치와 사용자로부터의 명령을 입력을 받을 수 있는 키보드나 키패드 등을 포함할 수 있다. 카메라 및 저장장치를 포함하고 사용자로부터의 명령을 입력받을 수 있는 스마트폰은 입력 장치(110)의 일례가 될 수 있다.

입력 장치(110)는 환경에 대한 사진과 사용자의 명령 등을 입력받으며, 여기서 사용자의 명령이란 지도(M) 작성명령, 지도(M)의 수정 및 확장에 대한 명령 등을 지칭한다. 예컨대, 입력 장치(110)는 이동로봇(200)이 작성하려는 지도(M)의 환경에 대해 사용자가 미리 찍어둔 일련의 사진 등과 함께 지도(M)를 작성하라는 명령을 입력받거나, 작성된 지도(M)에 대하여 수정하거나 확장할 부분에 대한 환경의 사진과 함께 지도(M)를 수정하거나 확장하라는 명령 등을 입력받을 수 있다.

본 발명의 일 실시예에서, 제1 처리장치(120)는 입력 장치(110)에서 전달받은 사용자의 사진 정보 및 명령에 대하여 이동로봇(200)에 전달하기 위한 정보의 형태로 변환하기 위한 데이터 처리장치를 지칭한다. 제1 처리장치(120)에서 이동로봇(200)으로 전달 가능하게 처리된 데이터는 전송장치(130)로 전달된다.

전송장치(130)는 유/무선 전송장치를 포함할 수 있으며 제1 처리 장치(120)에서 처리된 데이터를 이동로봇(200)의 제2 처리장치(220)로 전송한다.

본 발명의 일 실시예에서, 이동로봇(200)은 데이터 획득 장치(210), 제2 처리장치 및 주행부(230)를 포함하여 구성될 수 있다.

데이터 획득 장치(210)는 이동로봇(200)에 장착되어 주변 환경에 대한 정보를 획득하거나, 이동로봇(200)의 이동을 측정하는 수단이다. 데이터 획득 장치(210)는 각종의 센서들을 포함할 수 있으며, 주변 환경에 대한 정보를 획득하는 센서로는 단안 카메라, 양안 카메라, 레이저 센서, 초음파 센서, 레이더 센서 등이 선택될 수 있다. 또한, 이동로봇(200)의 이동을 측정하는 센서로는 이동로봇(200)의 엔코더, 가속도 및 각속도 센서 등을 포함할 수 있다. 데이터 획득 장치(210)의 각종 센서로부터 측정된 데이터는 제2 처리장치(220)로 전달된다.

본 발명의 일 실시예에서 제2 처리장치(220)는 사용자로부터 환경에 대한 입력을 받는 이동로봇(200)의 SLAM 시스템의 실시간 지도(M) 작성과 위치파악, 작성된 지도(M)의 관리 및 수정, 이동로봇(200)의 경로 결정 등의 기능을 수행한다.

제2 처리장치(220)는 실시간 지도(M) 작성을 위하여 사용자 단말기(100)로부터 전송된 환경에 대한 정보가 들어있는 일련의 사진과, 이동로봇(200)이 직접 이동하면서 파악한 환경에 대한 정보 모두를 이용할 수 있다.

제2 처리장치(220)가 사용자 단말기(100)로부터 미리 환경에 대한 정보가 들어있는 일련의 사진 정보를 전송받은 경우에, 일련의 사진 정보에 들어있는 환경에 대한 특징 정보를 추출하여 랜드마크로 설정한 후, 이를 바탕으로 사용자의 이동정보(odometry)를 파악하여 지도(M)의 일부분을 미리 작성한다. 그 후 미리 작성된 환경에 대한 일부분의 지도(M)를 바탕으로 수정 및 확장을 수행하면서 전체 지도(M)를 작성하게 된다. 이동로봇(200)은 미리 작성된 일부분의 지도(M)를 바탕으로 전체 완성된 지도(M)를 작성하기 위하여 주변 환경을 돌아다니며, 이동로봇(200)에 장착된 데이터 획득 장치(210)로부터 획득된 일련의 정보를 바탕으로 지도(M)를 작성하게 된다.

제2 처리장치(220)에서 지도(M)의 작성을 위해서는 이동로봇(200)의 실시간 위치파악이 지도(M) 작성과 동시에 이루어져야 하는데 이동로봇(200)의 실시간 위치파악을 위하여 데이터 획득 장치(210)로부터 획득된 일련의 정보를 바탕으로 이동로봇(200)의 이동정보(odometry)를 파악하게 된다.

이동로봇(200)의 이동정보를 파악하는 방법으로는 데이터 획득 장치(210)로부터 획득된 영상정보의 특징 정보 추출을 통한 랜드마크의 위치를 이용하여 이동로봇(200)의 이동정보를 파악하거나, 데이터 획득 장치(210)로부터 획득된 이동로봇(200)의 엔코더, 가속도 및 각속도 정보 등을 이용하여 이동로봇(200)의 이동정보를 파악하는 방법과 두 정보를 융합하여 이동로봇(200)의 이동정보를 파악하는 방법 등이 사용될 수 있다.

사용자 단말기(100)로부터, 작성된 지도(M)에 대한 수정 혹은 확장의 명령과 수정 혹은 확장할 환경의 사진이 제2 처리장치(220)로 전달되면, 제2 처리장치(220)는 수정 혹은 확장할 환경에 대한 일련의 사진만을 이용하여 지도(M)를 수정 혹은 확장하거나, 지도(M)의 수정 혹은 확장할 부분으로 이동한 후 데이터 획득 장치(210)을 이용하여 획득된 정보를 바탕으로 지도(M)를 수정 혹은 확장하게 된다.

주행부(230)는 지도(M)를 작성하거나 관리하기 위하여 이동로봇(200)을 이동시키고자 할 경우, 제2 처리장치(220)의 명령에 따라 이동로봇(200)을 주행시키는 장치이다.

디지털 카메라 및 디지털 카메라를 내장한 모바일 폰의 보편화와 통신기술의 발달로 사용자가 사진을 촬영하고, 촬영된 데이터를 주변 기기와 교환하는 것이 용이해졌으며, 마찬가지로 사용자 단말기(100)와 이동로봇(200) 간의 정보 교환은 쉽게 이루어질 수 있다. 이로 인해 본 발명이 제안하는 방법을 이용하면, 이동로봇(200)이 주변 환경에 대한 지도(M)를 효율적으로 작성하고 관리하는 것이 가능하다.

도 3은 본 발명이 일 실시예에 따른 이동로봇의 SLAM 방법을 도시한 순서도이다.

도 3을 참조하면, 본 발명의 이동로봇의 SLAM 방법은 사용자로부터 환경에 대한 사진 입력을 받아 지도를 작성하는 방법으로서, 우선, 사용자 단말기(100)로부터 전송된 사진을 포함한 환경 정보가 이동로봇(200)에 전송된다(S310). 여기서, 사용자 단말기(100)로부터 전송된 사진을 포함한 환경 정보를 이동로봇(200)에 전송하는 과정은, 주변 환경에 대한 사진이 카메라를 통하여 입력 장치(110)에 입력되거나, 키보드, 키패드 등을 이용하여 사용자의 명령이 입력 장치(110)에 입력되는 과정과, 입력 장치(110)로부터 전달받은 정보를 제1 처리장치(120)에서 이동로봇(200)에 전달하기 위한 정보의 형태로 변환하는 과정과, 제1 처리장치(120)에서 처리된 정보를 유무선 전송장치 등을 이용하여 이동로봇(200)에 전송하는 단계를 포함할 수 있다.

이어서, 제2 처리장치(220)는 입력받은 환경정보를 이용하여 지도작성의 틀을 미리 생성한다(S320). 여기서, 사용자 단말기(100)로부터 수신한 일련의 사진 정보에 들어있는 환경에 대한 특징 정보를 추출하여 랜드마크를 설정하는 과정과, 상기 랜드마크를 기준으로 지도(M)의 일부분을 미리 작성하는 과정을 포함할 수 있다.

다음으로, 이동로봇(200)은 전체 환경에 한 지도를 완성하기 위하여 로봇의 주행부(230)에서 로봇을 이동시킨다(S330).

이어서, 이동로봇(200)이 이동하면서 데이터 획득 장치(210)를 통해 주변 환경 정보나, 이동로봇(200)의 이동정보를 획득한 후 획득된 데이터를 이용하여 지도를 작성한다(S340). 데이터 획득 장치(210)는 전술한 바와 같이 주변 환경에 대한 정보를 획득하는 센서 및 이동로봇(200)의 이동을 측정하는 센서와 같은 각종 센서를 포함할 수 있다. 미리 작성된 지도의 틀에 이동로봇(200)이 이동하면서 획득한 데이터를 이용하여 지도를 작성시킨다.

다음으로 지도작성이 완료되었는지를 확인한 후 지도작성이 완료되지 않았으면 계속하여 이동로봇(200)을 미지의 환경으로 이동시켜서 지도작성을 진행하고, 지도작성이 완료되었다면 지도의 수정 및 확장 명령을 기다린다(S350).

이어서, 사용자로부터 지도 수정 및 확장의 명령이 들어오는 지를 확인한 후 지도 수정 및 확장의 명령이 들어오지 않으면, 계속하여 명령을 기다리고, 지도 수정 및 확장의 명령이 들어오면 지도 수정 및 확장을 진행한다(S360).

계속하여, 사용자 단말기(100)로부터, 작성된 지도(M)에 대한 수정 혹은 확장의 명령과 수정 혹은 확장할 환경의 사진이 제2 처리장치(220)로 전달되면, 제2 처리장치(220)는 수정 혹은 확장할 환경에 대한 일련의 사진만을 이용하여 지도(M)를 수정 혹은 확장하거나, 지도(M)의 수정 혹은 확장할 부분으로 이동한 후 데이터 획득 장치(210)을 이용하여 획득된 정보를 바탕으로 지도(M)를 수정 혹은 확장한다(S370).

상기에서는 본 발명의 바람직한 실시예에 대하여 설명하였지만, 본 발명은 이에 한정되는 것이 아니고 특허청구범위와 발명의 상세한 설명 및 첨부한 도면의 범위 안에서 여러 가지로 변형하여 실시하는 것이 가능하고 이 또한 본 발명의 범위에 속하는 것은 당연하다.

100: 사용자 단말기
110: 입력 장치
120: 제1 처리 장치
130: 전송 장치
200: 이동로봇
210: 데이터 획득 장치
220: 제2 처리 장치
230: 주행부

Claims

사용자로부터 환경에 대한 사진 입력을 받는 이동로봇의 SLAM 시스템으로서,
사용자로부터 환경에 대한 정보나 명령을 입력받아 이동로봇으로 전송하는 사용자 단말기; 및
상기 사용자 단말기로부터 전송된 정보와 명령, 데이터 획득 장치로부터 획득한 주변 환경 정보 및 이동정보를 파악하여, 지도 작성을 수행하는 이동로봇을 포함하는 것을 특징으로 하는 이동로봇의 SLAM 시스템.
제1항에 있어서, 상기 사용자 단말기는,
환경에 대한 사진과 사용자의 명령이 입력되는 입력 장치;
상기 입력 장치에서 전달받은 정보를 상기 이동로봇에 전달하기 위한 정보의 형태로 변환하는 제1 처리장치; 및
상기 제1 처리장치에서 처리된 정보를 상기 이동로봇으로 전송하는 전송 장치를 포함하는 것을 특징으로 하는 이동로봇의 SLAM 시스템.
제1항에 있어서, 상기 이동로봇은,
이동로봇에 장착되어 주변 환경에 대한 정보를 획득하거나, 이동로봇의 이동을 측정하는 수단인 데이터 획득 장치;
상기 데이터 획득 장치와 상기 사용자 단말기로부터 전송된 정보를 이용하여 실시간 지도작성, 작성된 지도의 관리 및 수정, 작성된 지도를 바탕으로 이동로봇의 위치를 파악하고 경로를 결정하는 기능을 수행하는 제2 처리장치; 및
상기 제2 처리장치에서 처리된 정보를 기반으로 이동로봇의 주행을 제어하는 주행부를 포함하는 것을 특징으로 하는 이동로봇의 SLAM 시스템.
제3항에 있어서, 상기 데이터 획득 장치는 주변 환경에 대한 정보를 획득하는 센서로서 단안 카메라, 양안 카메라, 레이저 센서, 초음파 센서 또는 레이더 센서를 포함하는 것을 특징으로 하는 이동로봇의 SLAM 시스템.
제3항에 있어서, 상기 데이터 획득 장치는 이동로봇의 이동을 측정하는 센서로서 엔코더, 가속도 센서 또는 각속도 센서를 포함하는 것을 특징으로 하는 이동로봇의 SLAM 시스템.
사용자로부터 환경에 대한 사진 입력을 받는 이동로봇의 SLAM 방법으로서,
사용자 단말기로부터 전송된 사진을 포함한 환경 정보가 이동로봇에 전송되는 단계;
상기 이동로봇이 이동하면서 데이터 획득 장치를 통해 주변 환경 정보나, 이동로봇의 이동정보를 획득하는 단계;
상기 이동로봇의 제2 처리장치에서 상기 사용자 단말기로부터 수신한 정보와 상기 데이터 획득 장치에서 획득한 정보를 이용하여 지도를 작성하는 단계;
상기 사용자 단말기로부터, 작성된 지도에 대한 수정 혹은 확장의 명령과 수정 혹은 확장할 환경의 사진이 상기 제2 처리장치로 전달되면, 상기 제2 처리장치는 수정 혹은 확장할 환경에 대한 일련의 사진만을 이용하여 지도를 수정 혹은 확장하거나, 지도의 수정 혹은 확장할 부분으로 이동로봇을 이동시킨 후 데이터 획득 장치를 이용하여 획득된 정보를 바탕으로 지도를 수정 혹은 확장하는 단계; 및
상기 제2 처리장치에서 처리된 정보를 기반으로 이동로봇의 주행을 제어하는 단계를 포함하는 것을 특징으로 하는 이동로봇의 SLAM 방법.
제6항에 있어서, 상기 사용자 단말기로부터 전송된 사진을 포함한 환경 정보가 이동로봇에 전송되는 단계는,
주변 환경에 대한 사진이 카메라를 통하여 입력 장치에 입력되거나, 사용자의 명령이 입력 장치에 입력되는 단계;
상기 입력 장치로부터 전달받은 정보를 제1 처리장치에서 이동로봇에 전달하기 위한 정보의 형태로 변환하는 단계; 및
상기 제1 처리장치에서 처리된 정보를 전송 장치를 통해 이동로봇에 전송하는 단계를 포함하는 것을 특징으로 하는 이동로봇의 SLAM 방법.
제6항에 있어서, 상기 이동로봇의 제2 처리장치에서 상기 사용자 단말기로부터 수신한 정보와 상기 데이터 획득 장치에서 획득한 정보를 이용하여 지도를 작성하는 단계는,
상기 사용자 단말기로부터 수신한 일련의 사진 정보에 들어있는 환경에 대한 특징 정보를 추출하여 랜드마크를 설정하는 단계; 및
상기 랜드마크를 기준으로 지도의 일부분을 미리 작성하는 단계를 포함하는 것을 특징으로 하는 이동로봇의 SLAM 방법.