KR101167627B1 - 이동 로봇의 위치 및 지도의 이중 보정 장치 및 방법 - Google Patents

이동 로봇의 위치 및 지도의 이중 보정 장치 및 방법 Download PDF

Info

Publication number
KR101167627B1
KR101167627B1 KR1020100017147A KR20100017147A KR101167627B1 KR 101167627 B1 KR101167627 B1 KR 101167627B1 KR 1020100017147 A KR1020100017147 A KR 1020100017147A KR 20100017147 A KR20100017147 A KR 20100017147A KR 101167627 B1 KR101167627 B1 KR 101167627B1
Authority
KR
South Korea
Prior art keywords
feature
mobile robot
map
image
ceiling
Prior art date
Application number
KR1020100017147A
Other languages
English (en)
Other versions
KR20110097344A (ko
Inventor
김은태
최혁두
김동엽
황재필
김영욱
Original Assignee
연세대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 연세대학교 산학협력단 filed Critical 연세대학교 산학협력단
Priority to KR1020100017147A priority Critical patent/KR101167627B1/ko
Publication of KR20110097344A publication Critical patent/KR20110097344A/ko
Application granted granted Critical
Publication of KR101167627B1 publication Critical patent/KR101167627B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B25J13/088—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices with position, velocity or acceleration sensors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/021—Optical sensing devices
    • B25J19/023—Optical sensing devices including video camera means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/04—Viewing devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion

Abstract

본 발명은 이동 로봇이 위치와 지도를 보정하는 경우에 선형 특징 및 교점 특징을 이용하여 지도 내의 선형 특징을 정확하고 효율적으로 보정할 수 있는 이동 로봇의 자기 위치 추정 및 지도 구축을 위한 이동 로봇의 위치 및 지도의 이중 보정 장치 및 방법에 관한 것이다. 이를 위하여 본 발명에 따른 이동 로봇의 위치 및 지도의 이중 보정 장치는 이동 로봇의 상방 영상을 획득하는 영상 획득부; 상기 획득된 영상으로부터 천장 영상을 추출하는 천장 영상 추출부; 상기 추출된 천장 영상에서 적어도 두 종류의 특징 정보를 추출하는 특징 추출부; 및 상기 적어도 두 종류의 특징 정보 가운데 어느 하나의 특징 정보에 기반하여 이동 로봇의 위치 정보 및 지도 정보를 가운데 하나의 특징 정보를 보정하여 이동 로봇의 위치 정보 및 지도 정보를 갱신하는 제어부를 포함하여 이루어진다.

Description

이동 로봇의 위치 및 지도의 이중 보정 장치 및 방법{Apparatus and Method for Double-Updating in simultaneous localization and mapping for a mobile robot}
본 발명은 이동 로봇의 위치 및 지도를 이중으로 보정하는 장치 및 방법에 관한 것으로서, 더욱 상세하게는 이동 로봇이 확장 칼만 필터의 확대 및 변형을 통하여 정밀도가 높게 자신의 위치를 추정하고 주변 환경에 있는 특정 랜드마크(landmark)에 대한 지도를 구축하기 위한 이동 로봇의 위치 및 지도를 이중으로 보정하는 장치 및 방법에 관한 것이다.
로봇은 초기에 단순하고 반복적인 정밀 작업을 필요로 하는 산업 현장에서 많이 사용되었으나 최근의 로봇 지능의 발달로 청소 로봇이나 서비스 로봇, 애완 로봇 등의 다양한 기능을 하게 되었으며 그 수요도 급증하는 추세이다.
로봇이 고정된 위치의 반복 작업을 벗어나 좀 더 자율적인 작업을 안전하고 효과적으로 수행하기 위해서는 반드시 자신의 위치와 주변 환경을 인식할 수 있는 기능을 갖추어야 한다. 주변의 환경을 인식하여 이를 통해 자신의 위치를 추정하고 추정된 자신의 위치를 이용해 주변 환경에 대한 지도를 구축하는 일은 분리될 수 없는 상호 보완적인 일이다. 그런데 여기에 필요한 모든 정보가 불확실성을 내포하고 있기 때문에 불확실성 속에서 확률적으로 가장 그럴듯한 값을 구하기 위해 R. Smith 등은 베이스 필터(Bayes filter)의 한 종류인 칼만 필터(Kalman filter)를 이용한 동시적인 위치 파악 및 지도 구축 기술을 제안하였고 그 이후 십 수년 동안 이를 효과적이고 효율적으로 개선하기 위한 수많은 시도들이 있었다.
하지만 이러한 기술들은 본질적으로 주변 랜드마크의 종류와 양이 늘어날수록 정확도가 높아지지만 그와 함께 비용도 급격히 증가하는 한계를 가진다.
본 발명이 해결하려는 기술적 과제는 이동 로봇이 자신의 위치를 파악하고 이와 아울러 주변 환경의 특정 랜드마크에 대한 지도를 구축하는 일을 보다 적은 비용으로 더 정확하게 수행하는 이동 로봇의 위치 및 지도를 이중으로 보정하는 장치 및 방법을 제공하는 데 있다.
상기 목적들을 달성하기 위한 본 발명의 실시예들에 따른 이동 로봇의 위치 및 지도의 이중 보정 장치는 이동 로봇의 상방 영상을 획득하는 영상 획득부; 상기 획득된 영상으로부터 천장 영상을 추출하는 천장 영상 추출부; 상기 추출된 천장 영상에서 적어도 두 종류의 특징 정보를 추출하는 특징 추출부; 및 상기 적어도 두 종류의 특징 정보를 이용하여 이동 로봇의 위치 정보 및 지도 정보를 이중으로 갱신하는 제어부를 포함한다.
상기 영상 획득부는 상기 영상 획득시에 천장과 벽면이 이루는 경계면이 포함되도록 영상을 획득하는 것을 특징으로 한다.
상기 천장 영상 추출부는 상기 획득된 영상의 중심으로부터 기설정된 크기 이상의 엣지(edge)를 추출할 때까지 상기 획득한 영상에서 처리 영상의 범위를 확장하여 천장 영상을 추출하는 것을 특징으로 한다.
상기 천장 영상 추출부는 상기 천장 영상 내에 존재하는 기설정된 크기보다 작은 크기의 엣지(edge)를 제거하는 것을 특징으로 한다.
상기 특징 추출부는 적어도 상기 천장 영상으로부터 선형 특징을 추출하고, 상기 추출된 선형 특징을 이용하여 교점 특징을 추출하는 것을 특징으로 한다.
상기 특징 추출부는, 상기 천장 영상의 경계면을 분할하여 다수의 선형 특징을 추출하는 선형 특징 추출부; 및 상기 추출된 선형 특징들이 상호 교차하여 이루는 교점을 추출하는 교점 특징 추출부를 포함하는 것을 특징으로 한다.
상기 제어부는, 상기 획득된 영상에서 추출된 특징과 지도에 저장된 특징간의 거리가 가장 가까운 특징을 연결하는 이동 로봇의 위치 및 지도를 보정하는 특징 연결부; 및 엔코더로부터 얻은 이동 정보에 따라 이동 로봇의 위치를 예측하고, 천장 영상에서 추출된 선형 특징을 이용하여 1차적으로 이동 로봇의 위치 정보 및 지도를 갱신하고, 상기 선형 특징으로부터 산출된 교점 특징을 이용하여 2차적으로 상기 갱신된 이동 로봇의 위치 정보 및 지도를 다시 갱신하는 위치 및 지도 추정부를 포함하는 것을 특징으로 한다.
상기 제어부는 측정된 이동정보로부터 이동 로봇의 위치를 예측하고, 상기 적어도 두개의 특징 가운데 어느 하나의 특징을 이용하여 이동 로봇의 위치 및 지도를 갱신하고, 추가적으로 적어도 두개의 특징 가운데 다른 하나의 특징을 이용하여 이동 로봇의 위치 및 지도를 갱신하는 것을 특징으로 한다.
상기 적어도 두개의 특징은 선형 특징과 교점 특징이며, 상기 교점 특징은 상기 선형 특징 가운데 인접한 선형 특징으로 교차점으로부터 얻어지는 것을 특징으로 한다.
상기 목적들을 달성하기 위한 본 발명의 실시예들에 따른 이동 로봇의 위치 및 지도의 이중 보정 방법은 (a) 이동 로봇의 상방 영상을 획득하는 단계; (b) 상기 획득된 영상으로부터 천장 영상을 추출하는 단계; (c) 상기 추출된 천장 영상에서 적어도 두 종류의 특징 정보를 추출하는 단계; 및 (d) 상기 적어도 두 종류의 특징 정보를 이용하여 이동 로봇의 위치 정보 및 지도 정보를 이중으로 갱신하는 단계를 포함한다.
상기 (a) 단계에서는, 상기 상방 영상 획득시에 천장과 벽면이 이루는 경계면이 포함되도록 상기 상방 영상을 획득하는 것을 특징으로 한다.
상기 (b) 단계에서는, 상기 획득된 영상의 중심으로부터 기설정된 크기 이상의 엣지(edge)를 추출할 때까지 상기 획득한 영상에서 처리 영역의 범위를 확장하여 천장 영상을 추출하는 것을 특징으로 한다.
상기 (b) 단계에서는, 상기 천장 영상 내에 존재하는 기설정된 크기보다 작은 크기의 엣지(edge)를 제거하는 것을 특징으로 한다.
상기 (c) 단계에서는, 적어도 상기 천장 영상으로부터 선형 특징을 추출하고, 상기 추출된 선형 특징을 이용하여 교점 특징을 추출하는 것을 특징으로 한다.
상기 (c) 단계는, (c1) 상기 천장 영상의 경계면을 분할하여 다수의 선형 특징을 추출하는 단계; 및 (c2) 상기 추출된 선형 특징들 가운데 상호 인접한 선형 특징이 교차하여 이루는 교점을 추출하는 단계를 포함하는 것을 특징으로 한다.
상기 (d) 단계에서는, 측정된 이동정보로부터 이동 로봇의 위치를 예측하고, 상기 적어도 두개의 특징 가운데 어느 하나의 특징을 이용하여 이동 로봇의 위치 및 지도를 갱신하고, 추가적으로 적어도 두개의 특징 가운데 다른 하나의 특징을 이용하여 이동 로봇의 위치 및 지도를 갱신하는 것을 특징으로 한다.
상기 (d) 단계에서는, 적어도 두개의 특징은 선형 특징과 교점 특징이며, 상기 교점 특징은 인접한 선형 특징 간의 교차점을 산출하여 얻어지는 것을 특징으로 한다.
상기 (d) 단계에서는, 상기 획득된 영상에서 추출된 특징과 지도에 저장된 특징 간의 거리가 가장 가까운 특징을 연결하는 것을 특징으로 한다.
본 발명의 실시예들에 따른 이동 로봇의 위치 및 지도를 보정하는 장치 및 방법은, 기존의 한 가지 특징을 사용하여 한 가지의 특징 기반 지도와 로봇의 위치를 추정하는 방법에 비하여 또 다른 특징을 하나 더 사용하여 지도와 위치를 추정하므로 적은 추가 비용으로 정확도를 크게 향상시킬 수 있는 효과가 있다.
도 1은 본 발명의 일실시예에 따른 이동 로봇의 위치 및 지도의 이중 보정 장치의 블록도이다.
도 2는 본 발명의 일실시예에 따른 이동 로봇의 위치 및 지도의 이중 보정 방법의 순서도이다.
도 3은 도 2에서의 천장 영상 추출 단계의 세부 과정을 나타내는 순서도이다.
도 4는 도 2에서의 특징 정보 추출 단계의 세부 과정을 나타내는 순서도이다.
도 5는 도 2에서의 이동 로봇의 위치 및 지도 갱신 단계의 세부 과정을 나타내는 순서도이다.
도 6은 본 발명의 일실시예에 따른 이동 로봇의 위치 및 지도의 이중 보정 방법을 묘사한 것이다.
도 7의 (a) 내지 (c)는 본 발명의 일실시예에 따라 획득한 상방 영상에서 천장 영역을 추출하는 과정을 나타낸다.
도 8의 (a) 내지 (c)는 본 발명의 일실시예에 따라 도 7의 천장 영상에서 선형 특징을 추출하는 과정을 나타낸 도면이다.
이하, 본 발명의 바람직한 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 우선 각 도면의 구성 요소들에 참조 부호를 부가함에 있어서, 동일한 구성 요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략하며, 단수로 기재된 용어도 복수의 개념을 포함할 수 있다. 또한, 이하에서 본 발명의 바람직한 실시예를 설명할 것이나, 본 발명의 기술적 사상은 이에 한정하거나 제한되지 않고 당업자에 의해 변형되어 다양하게 실시될 수 있음은 물론이다.
도 1은 본 발명의 일실시예에 따른 이동 로봇의 위치 및 지도의 이중 보정 장치의 블록도이다.
도 1을 참조하면, 이동 로봇의 위치 및 지도의 이중 보정 장치는 이동 로봇의 진행 방향의 상방 영상을 획득하는 영상 획득부(110)와, 상기 획득된 영상으로부터 천장 영상을 추출하는 천장 영상 추출부(120)와, 상기 추출된 천장 영상에서 적어도 두 종류의 특징 정보를 추출하는 특징 추출부(130)와, 상기 적어도 두 종류의 특징 정보의 각각을 이용하여 상기 이동 로봇의 위치 정보 및 지도 정보를 순차적으로 이중 갱신하는 제어부(140)를 포함한다.
상기 영상 획득부(110)는 이동 로봇에 장착되어 천장을 포함된 상방 영상을촬영하는 카메라인 것이 가능하다. 즉, 상기 이동 로봇은 대상 영역을 이동하면서 상기 카메라는 통하여 천장과 벽면 등의 주변의 영상을 얻는다. 이 경우에도 상기 영상 획득부는 상기 영상 획득시에 천장과 벽면이 이루는 경계면이 포함되도록 상방 영상을 획득하는 것이 바람직하다. 상기 영상을 통하여 이동 로봇은 대상 영역의 랜드마크를 인지하고 자신의 위치 추정과 지도 구축에 사용한다. 본 실시예에서는 상기 카레라는 상방 영상을 0.5초 간격으로 획득하였나, 필요에 따라 다양한 시간 간격으로 축소 또는 확장하여 상방 또는 주변영상을 획득하는 것이 가능하다.
본 실시예에서는 카메라를 이용하여 상방 영상을 획득하였으나, 이는 일실시예에 불과하여, 상기 영상 획득부가 카메라로 한정되는 것은 아니며, 영상 획득이 가능한 모두 수단이 될 수 있다.
상기 카메라는 이동 로봇의 중심 위에서 지면으로부터 수직 방향으로 천장을 향하여 실내공간에서 천장의 이미지를 얻도록 이동 로봇에 설치되는 것이 바람직하다. 상기 이동 로봇은 이동과 동시에 주행 방향의 상방으로부터 천장 영상을 촬영하여 상기 보정 장치에 입력하면서 위치 추정을 시작된다. 또한, 본 실시예에서는 이용하는 랜드마크는 선형 랜드마크이며, 이는 천장과 벽의 경계면에서 주로 찾는다.
상기 천장 추출부(120)는 상기 획득된 영상의 중심으로부터 기설정된 크기 이상의 엣지(edge)를 추출할 때까지 상기 획득한 영상에서 처리 영상의 범위를 확장함으로써, 상기 획득한 상방 영상으로부터 천장 영상을 추출한다. 또한, 상기 천장 영상 추출부는 상기 천장 영상 내에 존재하는 기설정된 크기보다 작은 크기의 엣지(edge)인 노이즈들을 제거한다.
상기 특징 추출부(130)는, 상기 천장 영상의 경계면을 분할하여 다수의 선형 특징을 추출하는 선형 특징 추출부(131)와, 상기 추출된 선형 특징들이 상호 교차하여 이루는 교점을 추출하는 교점 특징 추출부(132)를 포함하여, 상기 천장 영상으로부터 선형 특징을 추출하고, 상기 추출된 선형 특징을 이용하여 교점 특징을 추출한다.
상기 제어부(140)는 상기 획득된 영상에서 추출된 특징과 지도에 저장된 특징간의 거리가 가장 가까운 특징을 연결하는 특징 연결부(141)와, 적어도 천장 영상에서 추출된 선형 특징과 교점 특징 및 엔코더로부터 얻은 이동 정보를 이용하여 이동 로봇의 위치 정보 및 지도를 갱신하는 위치 및 지도 추정부(142)를 포함하고 있다. 상기 교점 특징은 상기 선형 특징 가운데 인접한 선형 특징의 교차점으로부터 얻어지는 것이 바람직하다.
상기 제어부(140)는 측정된 이동정보로부터 이동 로봇의 위치를 예측하고, 상기 적어도 두개의 특징 가운데 어느 하나의 특징을 이용하여 이동 로봇의 위치 및 지도를 갱신하고, 추가적으로 적어도 두개의 특징 가운데 다른 하나의 특징을 이용하여 이동 로봇의 위치 및 지도를 갱신한다.
도 2는 본 발명의 일실시예에 따른 이동 로봇의 위치 및 지도의 이중 보정 방법의 순서도이고, 도 3은 도 2에서의 천장 영상 추출 단계의 세부 과정을 나타내는 순서도이고, 4는 도 2에서의 특징 정보 추출 단계의 세부 과정을 나타내는 순서도이고, 도 5는 도 2에서의 이동 로봇의 위치 및 지도 갱신 단계의 세부 과정을 나타내는 순서도이다. 도 6은 본 발명의 일실시예에 따른 이동 로봇의 위치 및 지도의 이중 보정 방법을 묘사한 것이다. 도 7의 (a) 내지 (c)는 본 발명의 일실시예에 따라 획득한 상방 영상에서 천장 영역을 추출하는 과정을 도시한 것이고, 도 8의 (a) 내지 (c)는 본 발명의 일실시예에 따라 도 7의 천장 영상에서 선형 특징을 추출하는 과정을 도시한 것이다.
이하에서는 도 2 내지 도 8을 참조하여, 본 발명의 일실시예에 따른 이동 로봇의 위치 및 지도의 이중 보정 방법을 상세히 설명하겠다.
도 2를 참조하면, 본 발명의 일실시예에 따른 이동 로봇의 위치 및 지도의 이중 보정 방법은 (a) 이동 로봇의 상방 영상을 획득하는 단계(S110)와, (b) 상기 획득된 영상으로부터 천장 영상을 추출하는 단계(S120)와, (c) 상기 추출된 천장 영상에서 적어도 두 종류의 특징 정보를 추출하는 단계(S130)와, (d) 상기 적어도 두 종류의 특징 정보를 이용하여 상기 두 종류의 특징 가운데 어느 하나의 특징 정보를 보정하여 이동 로봇의 위치 정보 및 지도 정보를 갱신하는 단계(S140)를 포함한다.
상기 이동 로봇(100)은 대상 영역에서 카메라(110)를 이용하여 상방의 영상을 획득한다.(S110) 이 경우에, 상기 상방 영상은 천장과 벽면이 이루는 경계면이 포함되도록 획득되는 것이 바람직하다.
도 3을 참조하면, 상기 천장 영상 추출부(120)는 상기 획득된 상방 영상에서 천장 영역을 추출한다. 상기 (b) 단계를 구체적으로 설명하면, 상기 천장 영상 추출부(120), 먼저 미디언 필터를 이용하여 상기 획득된 상방 영상을 단순화하고(S121), 상기 상방 영상의 중심으로부터 강한 엣지(edge)가 나올 때까지 상기 획득한 영상에서 천장 영역을 확대하고,(S122) 이와 같이 추출된 천장 영역 내에 존재하는 기설정된 이하의 엣지(edge)를 제거한다. 상기 천장 영상은 상기 천장 영역이 상기 상방 영상의 반 이상을 차지할 때까지 상기 천장 영상 추출 단계를 반복적으로 수행한다.(S124) 도 7의 (a) 내지 (c)를 참조하면, 도 7(a)는 카메라에 의하여 획득된 상방 영상이고, 도 7(b)는 상기 상방 영상으로부터 천장 영역이 추출된 상태이고, 도 7(c)는 상기 추출된 천장 영역에서 내부의 노이즈가 제거된 상태의 영상이다.
도 4를 참조하면, 상기 특징 추출부(130)에서는 상기 추출된 천장 영상으로부터 선형 특징 및 교점 특징으로 이루어진 특징 정보를 추출한다.(S130) 상기 선형 특징 추출부(131)는, 상기 천장 영역이 추출된 영상으로부터 천장과 벽면의 경계면을 이루는 점들을 저장하고,(S131) 천장 경계면의 양 끝점을 잇는 가상의 선에서 가장 먼 점을 찾는다.(S132) 상기 가상의 선과 가장 먼 점 사이의 거리(R_lp)가 기설정된 크기(R_ref) 이상일 경우 그 점을 기준으로 경계면을 둘로 나누고,(S133,134) 더 이상 나눌 경계면이 없을 때까지 상기 각 단계(S131~S135)를 반복적으로 수행하여 선형 특징을 추출한다.(S136) 도 8의 (a) 내지 (c)를 참조하며, 도 8(a)는 상기 경계면을 나눌 기준점을 보여주고, 도 8(b)는 상기 경계면을 반복적으로 분할하는 과정을 보여주고, 도 8(c)는 천장 영역의 경계면이 다수의 선분으로 나누어진 상태를 보여주고 있다. 여기서, 상기 분할된 선분의 양 끝점을 (xe1, ye1)과 (xe2, ye2)라고 하면 두 점을 지나는 선분은 수학식 1과 같이 표현된다.
Figure 112010012431433-pat00001
Figure 112010012431433-pat00002
,
Figure 112010012431433-pat00003
,
Figure 112010012431433-pat00004
상기 수학식 1을 통해 얻은 선분의 식을 이용하여 상기 이동 로봇으로부터 선분까지의 거리와 각도를 다음과 같은 수학식 2로 구할 수 있다.
Figure 112010012431433-pat00005
상기 수학식 2를 통해 얻은 이동 로봇과 선형 특징 사이의 관계를 측정 입력으로 하여 위치 및 지도 추정부(142)에서 이동 로봇의 위치와 지도를 갱신하는데 사용한다.
상기 교점 특징 추출부(132)에서는 상기 선형 특징 추출부에서 얻은 선형 특징을 사이의 교점을 구한다. 인접한 선형 특징들이 한 점에서 만날 경우 그 교점이 직교 좌표계에서 (nx, ny)라고 할 때 이를 수학식 3을 이용하여 극 좌표계로 변환할 수 있다.
Figure 112010012431433-pat00006
상기 수학식 2으로부터 구해진 이동 로봇과 교점 특징 사이의 관계는 측정 입력으로써 위치 및 지도 추정부(142)에서 이동 로봇의 위치와 지도를 갱신하는데 사용한다.
상기 특징 연결부(141)에서는 카메라(110)를 통해 발견된 특징이 기존의 지도에 등록된 특징들 중 하나와 일치하는지, 일치한다면 어떤 것과 일치하는지를 판단한다. 본 실시예에서는 특징 정보에 대한 기술자(descriptor)를 사용하지 않기 때문에 카메라(110)를 통하여 획득된 영상에서의 특징의 위치와 지도 상의 특징의 위치가 가장 가까운 특징들을 연결한다.
Figure 112010012431433-pat00007
Figure 112010012431433-pat00008
,
Figure 112010012431433-pat00009
Figure 112010012431433-pat00010
Figure 112010012431433-pat00011
,
Figure 112010012431433-pat00012
Figure 112010012431433-pat00013
상기 위치 및 지도 추정부(142)는 변형된 확장 칼만 필터를 이용하여 로봇의 위치와 지도를 확률적으로 계산한다. 칼만 필터의 상태 벡터(state vector)에 이동 로봇의 위치와 지도에 대한 정보가 들어있고 칼만 필터는 로봇의 움직임과 센서 측정의 불확실성을 고려하여 확률적으로 가장 가능성이 높은 로봇의 위치와 지도를 계산한다. 여기서 상태 벡터는 Xt, 상태 벡터의 확률적 평균은 μt, 상태 벡터의 불확실성을 나타내는 공분산은 Σt라 하고 다음과 같이 구성되어 있다.
여기서, 변형된 확장 칼만 필터(MEKF, modfied extended kalm filter)는 이동 로봇의 주행 방향에 대한 상방 영상으로부터 선형 특징을 추출하고, 이로부터 교점 특징을 추출하며, 이 두 가지의 특징 정보를 상기 측정된 지도상의 선형 특징의 업데이트에만 이용함을 의미한다. 즉, 변형된 확장 칼만 필터는 기존의 확장 칼만 필터와는 달리 교점 특징에 대한 정보는 저장되지 않고, 오직 선형 특징에 대한 정보만 저장된다.
상기 위치 및 지도 추정부(142)는 측정된 이동정보로부터 이동 로봇의 위치를 예측하고, 상기 적어도 두개의 특징 가운데 어느 하나의 특징을 이용하여 이동 로봇의 위치 및 지도를 갱신하고(S142), 추가적으로 적어도 두개의 특징 가운데 다른 하나의 특징을 이용하여 이동 로봇의 위치 및 지도를 갱신한다.(S143) 상기 특징 연결부(141)는 상기 획득된 영상에서 추출된 특징과 지도에 저장된 특징 간의 거리가 가장 가까운 특징을 연결한다.(S141,S144)
상기 식들에서 R은 로봇을 의미하고 L1~LN은 N개의 랜드마크들을 의미한다. 로봇은 위치를 나타내는 x, y좌표와 방향을 나타내는 θ로 표현되고 랜드마크는 절대 좌표계의 원점으로부터의 거리와 방향인 ρ와 θ로 표현된다.
칼만 필터는 엔코더(150)가 측정한 이동 정보를 이용하여 이동 로봇의 움직임을 예측하는 예측 부분과 센서 정보를 이용하여 이동 로봇의 위치와 지도를 보정하는 보정 부분으로 이루어져 있다. 상기 예측 부분에서는 엔코더(150)나 제어부(140)로부터 받은 이동 로봇의 이동량을 그대로 이동 로봇의 위치를 예측하는데 사용하며 이 과정에서 이동 로봇 위치에 대한 불확실성이 증가한다. 이동 로봇의 위치를 Rt라 하고, 이동 로봇의 이동 명령을 선속도와 각속도로 표현하면 ut=(vt,wt)라 할 때, 이동 로봇의 이동 모델은 수학식 7과 같다.
Figure 112010012431433-pat00014
상기 수학식 7에서 εt는 로봇의 움직임의 불확실성 혹은 가우시안 노이즈를 의미하고 이것의 공분산을 Ft라 한다. 상기 이동 모델을 칼만 필터의 예측 부분에 적용하면 수학식 7 및 8을 이용하여 이동 로봇의 현재 위치와 불확실성을 대략적으로 예측할 수 있다.
Figure 112010012431433-pat00015
Figure 112010012431433-pat00016
상기 수학식 9에서 사용된 Gt는 이동 모델의 자코비안(jacobian) 행렬이며 수학식 10을 이용하여 구할 수 있다.
Figure 112010012431433-pat00017
상기 수학식들에 의해 이동 로봇이 이동한 위치를 예측하고, 그리고 나서 칼만 필터의 보정 부분에서는 센서의 측정 입력을 이용하여 이동 로봇의 위치와 지도의 불확실성을 줄이고 정확도를 높이게 된다. 특정한 랜드마크를 이동 로봇의 특정 위치에서 센서로 발견하여 얻은 측정 입력은 수학식 11으로 표현할 수 있다.
Figure 112010012431433-pat00018
여기서, δt는 측정 모델의 노이즈를 나타내고, Qt는 상기 측정 모델의 노이즈의 공분산이다. 그리고 상기 측정 모델의 자코비안은 수학식 12를 이용하여 구할 수 있다.
Figure 112010012431433-pat00019
측정 입력과 자코비안을 이용하여 로봇의 위치와 지도정보가 들어있는 상태를 보정하는 식은 수학식 13과 같다.
Figure 112010012431433-pat00020
Figure 112010012431433-pat00021
Figure 112010012431433-pat00022
이동 로봇의 위치와 지도를 보정하는 상기 식들은 기존의 확장 칼만 필터를 이용한 동시적인 위치 추정 및 지도 구축기술에서 이미 활용되고 있다. 본 실시예에서는 상기 선형 특징으로부터 추가로 추출한 교점 특징을 이용하여 로봇의 위치와 지도를 한 번 더 보정한다. 도 6에 도시된 바와 같이, 본 실예에서 적용되는 변형된 확장 칼만 필터를 이용하는 경우에는 센서로부터 추출한 인접한 교점 특징 한 쌍으로부터 하나의 교점 특징을 얻어서 두 개의 지도상의 선형 특징을 보정하는데 사용할 수 있다. 상기 교점 특징에 대한 이동 로봇에서의 측정 모델은 수학식 14와 같다.
Figure 112010012431433-pat00023
상기 식에서 Nt는 교점 특징의 이동 로봇 직교 좌표계에서의 좌표이고, ξt는 교점 측정 모델의 노이즈를 나타내고, St는ξt의 공분산 값이다. 그리고 상기 측정 모델의 자코비안은 다음과 같이 구한다.
Figure 112010012431433-pat00024
자코비안과 교점 특징에 대한 측정 입력을 이용하면 로봇의 위치와 지도에 대한 불확실성을 줄이고 더 정확한 값을 얻을 수 있다. 변형된 확장 칼만 필터의 두 번째 보정은 아래 식들에 의하여 구현된다.
Figure 112010012431433-pat00025
Figure 112010012431433-pat00026
Figure 112010012431433-pat00027
상기 수학식들을 통해 변형된 확장 칼만 필터는 교점 특징을 지도에 넣지 않고도 교점 특징을 통해 위치 추정의 정밀도를 높일 수 있다. 교점 특징을 지도에 넣지 않았으므로 선형 특징과 교점 특징을 모두 지도에 각각 입력하는 경우보다는 메모리와 계산 비용이 크게 줄어들게 되고, 선형 특징만을 가지고 위치 추정을 하는 것 보다는 로봇의 위치 추정 및 지도 구축의 정밀도를 향상시킬 수 있다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위 내에서 다양한 수정, 변경 및 치환이 가능할 것이다. 따라서, 본 발명에 개시된 실시예 및 첨부된 도면들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예 및 첨부된 도면에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
100 : 이동 로봇의 위치 및 지도의 이중 보정 장치
110 : 영상 획득부 120 : 천장 영상 추출부
131 : 선형 특징 추출부 132 : 교점 특징 추출부
141 : 특징 연결부 142 : 위치 및 지도 추정부
150 : 엔코더

Claims (18)

  1. 천장과 벽면이 이루는 경계면이 포함되도록 이동 로봇의 상방 영상을 획득하는 영상 획득부;
    상기 획득된 영상으로부터 천장 영상을 추출하는 천장 영상 추출부;
    상기 추출된 천장 영상에서 적어도 두 종류의 특징 정보를 추출하는 특징 추출부; 및
    상기 적어도 두 종류의 특징 정보를 이용하여 갱신된 이동 로봇의 위치 정보 및 지도 정보를 이중 갱신하는 제어부
    를 포함하는 이동 로봇의 위치 및 지도의 이중 보정 장치.
  2. 삭제
  3. 제1항에 있어서,
    상기 천장 영상 추출부는 상기 획득된 영상의 중심으로부터 기설정된 크기 이상의 엣지(edge)를 추출할 때까지 상기 획득한 영상에서 처리 영상의 범위를 확장하여 천장 영상을 추출하는 것을 특징으로 하는 이동 로봇의 위치 및 지도의 이중 보정 장치.
  4. 제3항에 있어서,
    상기 천장 영상 추출부는 상기 천장 영상 내에 존재하는 기설정된 크기보다 작은 크기의 엣지(edge)를 제거하는 것을 특징으로 하는 이동 로봇의 위치 및 지도의 이중 보정 장치.
  5. 제1항에 있어서,
    상기 특징 추출부는 적어도 상기 천장 영상으로부터 선형 특징을 추출하고, 상기 추출된 선형 특징을 이용하여 교점 특징을 추출하는 것을 특징으로 하는 이동 로봇의 위치 및 지도의 이중 보정 장치.
  6. 제1항 또는 제5항에 있어서,
    상기 특징 추출부는
    상기 천장 영상의 경계면을 분할하여 다수의 선형 특징을 추출하는 선형 특징 추출부; 및
    상기 추출된 선형 특징들이 상호 교차하여 이루는 교점을 추출하는 교점 특징 추출부
    를 포함하는 것을 특징으로 하는 이동 로봇의 위치 및 지도의 이중 보정 장치.
  7. 제1항에 있어서,
    상기 제어부는
    상기 획득된 영상에서 추출된 특징과 지도에 저장된 특징간의 거리가 가장 가까운 특징을 연결하는 이동 로봇의 위치 및 지도를 보정하는 특징 연결부; 및
    엔코더로부터 얻은 이동 정보에 따라 이동 로봇의 위치를 예측하고, 천장 영상에서 추출된 선형 특징을 이용하여 1차적으로 이동 로봇의 위치 정보 및 지도를 갱신하고, 상기 선형 특징으로부터 산출된 교점 특징을 이용하여 2차적으로 상기 갱신된 이동 로봇의 위치 정보 및 지도를 다시 갱신하는 위치 및 지도 추정부
    를 포함하는 것을 특징으로 하는 이동 로봇의 위치 및 지도의 이중 보정 장치.
  8. 제1항에 있어서,
    상기 제어부는 측정된 이동정보로부터 이동 로봇의 위치를 예측하고, 상기 적어도 두개의 특징 가운데 어느 하나의 특징을 이용하여 이동 로봇의 위치 및 지도를 갱신하고, 추가적으로 적어도 두개의 특징 가운데 다른 하나의 특징을 이용하여 이동 로봇의 위치 및 지도를 갱신하는 것을 특징으로 하는 이동 로봇의 위치 및 지도의 이중 보정 장치.
  9. 제8항에 있어서,
    상기 적어도 두개의 특징은 선형 특징과 교점 특징이며, 상기 교점 특징은 상기 선형 특징 가운데 인접한 선형 특징으로 교차점으로부터 얻어지는 것을 특징으로 하는 이동 로봇의 위치 및 지도의 이중 보정 장치.
  10. (a) 천장과 벽면이 이루는 경계면이 포함되도록 이동 로봇의 상방 영상을 획득하는 단계;
    (b) 상기 획득된 영상으로부터 천장 영상을 추출하는 단계;
    (c) 상기 추출된 천장 영상에서 적어도 두 종류의 특징 정보를 추출하는 단계; 및
    (d) 상기 적어도 두 종류의 특징 정보를 이용하여 이동 로봇의 위치 정보 및 지도 정보를 이중으로 갱신하는 단계
    를 포함하는 이동 로봇의 위치 및 지도의 이중 보정 방법.
  11. 삭제
  12. 제10항에 있어서,
    상기 (b) 단계에서는, 상기 획득된 영상의 중심으로부터 기설정된 크기 이상의 엣지(edge)를 추출할 때까지 상기 획득한 영상에서 처리 영역의 범위를 확장하여 천장 영상을 추출하는 것을 특징으로 하는 이동 로봇의 위치 및 지도의 이중 보정 방법.
  13. 제12항에 있어서,
    상기 (b) 단계에서는, 상기 천장 영상 내에 존재하는 기설정된 크기보다 작은 크기의 엣지(edge)를 제거하는 것을 특징으로 하는 이동 로봇의 위치 및 지도 보정 방법.
  14. 제10항에 있어서,
    상기 (c) 단계에서는, 적어도 상기 천장 영상으로부터 선형 특징을 추출하고, 상기 추출된 선형 특징을 이용하여 교점 특징을 추출하는 것을 특징으로 하는 이동 로봇의 위치 및 지도의 이중 보정 방법.
  15. 제10항 또는 제14항에 있어서,
    상기 (c) 단계는,
    (c1) 상기 천장 영상의 경계면을 분할하여 다수의 선형 특징을 추출하는 단계; 및
    (c2) 상기 추출된 선형 특징들 가운데 상호 인접한 선형 특징이 교차하여 이루는 교점을 추출하는 단계;
    를 포함하는 것을 특징으로 하는 이동 로봇의 위치 및 지도의 이중 보정 방법.
  16. 제10항에 있어서,
    상기 (d) 단계에서는, 측정된 이동정보로부터 이동 로봇의 위치를 예측하고, 상기 적어도 두개의 특징 가운데 어느 하나의 특징을 이용하여 이동 로봇의 위치 및 지도를 갱신하고, 추가적으로 적어도 두개의 특징 가운데 다른 하나의 특징을 이용하여 이동 로봇의 위치 및 지도를 갱신하는 것을 특징으로 하는 이동 로봇의 위치 및 지도의 이중 보정 방법.
  17. 제16항에 있어서,
    상기 (d) 단계에서는, 적어도 두개의 특징은 선형 특징과 교점 특징이며, 상기 교점 특징은 인접한 선형 특징 간의 교차점을 산출하여 얻어지는 것을 특징으로 하는 이동 로봇의 위치 및 지도의 이중 보정 방법.
  18. 삭제
KR1020100017147A 2010-02-25 2010-02-25 이동 로봇의 위치 및 지도의 이중 보정 장치 및 방법 KR101167627B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100017147A KR101167627B1 (ko) 2010-02-25 2010-02-25 이동 로봇의 위치 및 지도의 이중 보정 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100017147A KR101167627B1 (ko) 2010-02-25 2010-02-25 이동 로봇의 위치 및 지도의 이중 보정 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20110097344A KR20110097344A (ko) 2011-08-31
KR101167627B1 true KR101167627B1 (ko) 2012-07-23

Family

ID=44932384

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100017147A KR101167627B1 (ko) 2010-02-25 2010-02-25 이동 로봇의 위치 및 지도의 이중 보정 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101167627B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101844281B1 (ko) 2016-04-20 2018-04-02 삼성중공업 주식회사 복잡구조물 용접자동화를 위한 광역 환경 인식 방법 및 시스템

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101286135B1 (ko) * 2011-10-28 2013-07-15 포항공과대학교 산학협력단 상향식 단일 카메라를 이용한 중대형 공간에서의 자율적 위상지도 생성 방법
WO2015194868A1 (ko) 2014-06-17 2015-12-23 (주)유진로봇 광각 카메라가 탑재된 이동 로봇의 주행을 제어하기 위한 장치 및 그 방법
WO2015194866A1 (ko) 2014-06-17 2015-12-23 (주)유진로봇 에지 기반 재조정을 이용하여 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법
EP3159122A4 (en) * 2014-06-17 2018-05-30 Yujin Robot Co., Ltd. Device and method for recognizing location of mobile robot by means of search-based correlation matching
KR101708659B1 (ko) * 2014-06-17 2017-02-22 주식회사 유진로봇 이동 로봇의 맵을 업데이트하기 위한 장치 및 그 방법
EP3159125A4 (en) 2014-06-17 2018-05-23 Yujin Robot Co., Ltd. Device for recognizing position of mobile robot by using direct tracking, and method therefor

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100776215B1 (ko) * 2005-01-25 2007-11-16 삼성전자주식회사 상향 영상을 이용한 이동체의 위치 추정 및 지도 생성장치 및 방법과 그 장치를 제어하는 컴퓨터 프로그램을저장하는 컴퓨터로 읽을 수 있는 기록 매체
KR100877071B1 (ko) * 2007-07-18 2009-01-07 삼성전자주식회사 파티클 필터 기반의 이동 로봇의 자세 추정 방법 및 장치

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100776215B1 (ko) * 2005-01-25 2007-11-16 삼성전자주식회사 상향 영상을 이용한 이동체의 위치 추정 및 지도 생성장치 및 방법과 그 장치를 제어하는 컴퓨터 프로그램을저장하는 컴퓨터로 읽을 수 있는 기록 매체
KR100877071B1 (ko) * 2007-07-18 2009-01-07 삼성전자주식회사 파티클 필터 기반의 이동 로봇의 자세 추정 방법 및 장치

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101844281B1 (ko) 2016-04-20 2018-04-02 삼성중공업 주식회사 복잡구조물 용접자동화를 위한 광역 환경 인식 방법 및 시스템

Also Published As

Publication number Publication date
KR20110097344A (ko) 2011-08-31

Similar Documents

Publication Publication Date Title
KR101167627B1 (ko) 이동 로봇의 위치 및 지도의 이중 보정 장치 및 방법
US10006772B2 (en) Map production method, mobile robot, and map production system
KR101572851B1 (ko) 동적 환경에서 모바일 플랫폼의 지도 작성방법
JP6849330B2 (ja) 地図生成方法、自己位置推定方法、ロボットシステム、およびロボット
KR101619076B1 (ko) 모바일 플랫폼의 동적 물체 검출 및 추적 방법
JP5219467B2 (ja) パーティクルフィルター基盤の移動ロボットの姿勢推定方法、装置及び媒体
US9927814B2 (en) System and method for localization of robots
KR101976241B1 (ko) 다중로봇의 자기위치인식에 기반한 지도작성 시스템 및 그 방법
JP6442193B2 (ja) 点群位置データ処理装置、点群位置データ処理システム、点群位置データ処理方法およびプログラム
KR101503903B1 (ko) 이동 로봇의 지도 구성 장치 및 방법
KR101663650B1 (ko) 거리 신호를 이용하여 위치를 인식하는 장치 및 방법
KR101493075B1 (ko) 이동 로봇의 위치 인식 장치 및 방법
KR101782057B1 (ko) 지도 생성 장치 및 방법
KR101739996B1 (ko) 이동 로봇 및 이동 로봇의 위치 인식 및 지도 작성 방법
US8849036B2 (en) Map generating and updating method for mobile robot position recognition
KR101538775B1 (ko) 전방 영상을 이용한 위치 인식 장치 및 방법
JP4148276B2 (ja) 位置推定装置、位置推定方法及びプログラム記録媒体
JP4978099B2 (ja) 自己位置推定装置
JP5276931B2 (ja) 移動体および移動体の位置推定誤り状態からの復帰方法
KR102226846B1 (ko) Ｉｍｕ 센서와 카메라를 이용한 하이브리드 실내 측위 시스템
KR101423139B1 (ko) 3차원 직선을 이용하여 위치를 인식하고 지도를 생성하는 방법 및 그 방법에 따른 이동체
TWI772743B (zh) 資訊處理裝置以及移動機器人
JP2015215651A (ja) ロボットおよび自己位置推定方法
JP7047576B2 (ja) 地図作成装置
Nobre et al. Drift-correcting self-calibration for visual-inertial SLAM

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20150817

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20160714

Year of fee payment: 5

LAPS Lapse due to unpaid annual fee