KR20100005488A - 이동 로봇의 지도 구성 장치 및 방법 - Google Patents

이동 로봇의 지도 구성 장치 및 방법 Download PDF

Info

Publication number
KR20100005488A
KR20100005488A KR1020080065539A KR20080065539A KR20100005488A KR 20100005488 A KR20100005488 A KR 20100005488A KR 1020080065539 A KR1020080065539 A KR 1020080065539A KR 20080065539 A KR20080065539 A KR 20080065539A KR 20100005488 A KR20100005488 A KR 20100005488A
Authority
KR
South Korea
Prior art keywords
landmarks
pattern
map
landmark
landmark map
Prior art date
Application number
KR1020080065539A
Other languages
English (en)
Other versions
KR101503904B1 (ko
Inventor
정우연
이수진
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020080065539A priority Critical patent/KR101503904B1/ko
Priority to US12/320,289 priority patent/US8508527B2/en
Priority to EP09153114A priority patent/EP2144131B1/en
Publication of KR20100005488A publication Critical patent/KR20100005488A/ko
Application granted granted Critical
Publication of KR101503904B1 publication Critical patent/KR101503904B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/0274—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means using mapping information stored in a memory device
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J5/00—Manipulators mounted on wheels or on carriages
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/35—Categorising the entire scene, e.g. birthday party or wedding scene
    • G06V20/36—Indoor scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B29/00—Maps; Plans; Charts; Diagrams, e.g. route diagram
    • G09B29/003—Maps
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/027—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means comprising intertial navigation means, e.g. azimuth detector
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/0272—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means comprising means for registering the travel distance, e.g. revolutions of wheels

Abstract

이동 로봇에 적용되는 위치 인식 및 맵 빌딩 장치 및 방법이 제공된다. 본 발명의 일 양상에 따른 지도 구성 장치는 위치 인식에 이용되는 랜드마크 지도를 구성할 때, 동종의 랜드마크들이 이루는 패턴을 추출하고, 추출된 패턴을 이용하여 랜드마크 지도를 보정한다. 본 발명의 일 양상에 따르면, 동종의 랜드마크들 간의 위치 정보를 기초로 추출된 패턴에 기초하여 랜드마크 지도를 보정함으로써, 이동 로봇의 위치 인식 및 맵 빌딩의 정확도를 향상시킬 수 있다.
SLAM, 랜드마크, 그리드 맵, 이동 로봇, 패턴

Description

이동 로봇의 지도 구성 장치 및 방법{Apparatus and method for building map for mobile robot}
본 발명은 위치 인식 및 맵 빌딩에 관한 것으로, 더 상세하게는 이동 로봇에 적용되는 위치 인식 및 맵 빌딩을 성능을 향상시키기 위한 장치 및 방법에 관한 것이다.
자율 이동 로봇과 같은 이동체의 가장 기본적인 기능은 원하는 목표지점까지 충돌없이 이동할 수 있어야 하는 것이다. 이러한 기능들은 자율이동로봇의 위치측정(localization) 기술 및 지도 구성(mapping) 기술에 의해 수행된다. 맵 구성과 함께 자신의 위치를 인식하는 방법으로 슬램(SLAM; Simultaneous Localization And Mapping) 알고리즘이 이용된다. 슬램 알고리즘은 어떤 위치에서 주변 환경의 맵을 구성하고, 구성된 맵을 바탕으로 다시 이동한 로봇의 위치를 알아내는 과정을 반복하여 로봇의 위치와 주변 환경의 맵을 동시에 추정할 수 있는 알고리즘이다.
이동 로봇은 지도 구성을 위해 전형적으로 레이저 스캐너와 주행거리계를 이용하여 거리를 측정한다. 그러나, SLAM 알고리즘의 수행 과정에서 다양한 예측하기 어려운 변수들 예를 들어, 특징점 추출 에러, 오도메트리 에러(Unknown Odometry Error), 카메라 지오메트리 에러(Camera Geometry Error) 등에 의하여 오차가 누적되게 되는 문제점이 있다.
본 발명의 일 측면은 영상 정보로부터 추출된 랜드마크들 위치에 기반한 패턴을 추출하여 지도 구성에 이용함으로써 슬램 수행시 발생하는 위치 인식 에러를 감소시킬 수 있는 지도 구성 장치 및 방법을 제안한다.
본 발명의 일 양상에 따른 지도 구성 장치는 다수 개의 랜드마크 각각의 위치 정보 및 로컬 영상을 포함하는 랜드마크 지도를 구성하는 랜드마크 지도 구성부; 위치 정보 및 로컬 영상을 이용하여 동종의 랜드마크들이 이루는 패턴을 추출하는 패턴 추출부; 및 추출된 패턴을 이용하여 랜드마크 지도를 보정하는 랜드마크 지도 보정부를 포함한다.
패턴 추출부는 랜드마크들의 로컬 영상들 간의 유사도에 기초하여 동종의 랜드마크들끼리 그룹핑하고, 위치 정보를 이용하여 그룹핑된 동종의 랜드마크들이 이루는 패턴을 추출할 수 있다. 동종의 랜드마크들이 이루는 패턴은 직선, 원 및 사각형 중 적어도 하나일 수 있다.
본 발명의 일 양상에 따른 지도 구성 장치는 천장 영상을 포착하고, 천장 영상으로부터 랜드마크 각각에 대한 영상을 로컬 획득하는 영상 획득부를 더 포함할 수 있다. 또한, 지도 구성 장치는, 그리드 맵을 구성하는 그리드 맵 구성부를 더 포함하고, 이 경우, 패턴 추출부는 그리드 맵으로부터 장애물 정보의 패턴을 추출하고, 추출된 장애물 정보의 패턴과 동종의 랜드마크들이 이루는 패턴을 비교하고, 랜드마크 지도 보정부는 비교 결과를 이용하여 랜드마크 지도를 보정할 수 있다.
또한, 랜드마크 지도 보정부는 장애물 정보의 패턴 및 동종의 랜드마크들이 이루는 패턴이 직선인 경우, 랜드마크들의 위치를 장애물 정보의 패턴에 해당하는 직선과 직각 또는 평행이 되도록 보정할 수 있다. 패턴 추출부가 추출한 동종의 랜드마크들이 이루는 패턴이 직선인 경우, 랜드마크 지도 보정부는 동종의 랜드마크들이 직선상에 위치하도록 보정할 수 있다.
본 발명의 일 양상에 따른 지도 구성 장치는 보정된 랜드마크 지도에 기초하여 위치를 인식하고, 이동이 제어되는 이동 로봇으로 구현될 수 있다.
본 발명의 다른 양상에 따른 지도 구성 방법은 다수 개의 랜드마크 각각의 위치 정보 및 로컬 영상을 포함하는 랜드마크 지도를 구성하는 단계; 위치 정보 및 로컬 영상을 이용하여 동종의 랜드마크들이 이루는 패턴을 추출하는 단계; 및 추출된 패턴을 이용하여 랜드마크 지도를 보정하는 단계를 포함한다.
본 발명의 일 실시예에 따르면, 동종의 랜드마크들 간의 위치 정보를 기초로 추출된 패턴에 기초하여 랜드마크 지도를 보정함으로써, 공항, 관공서, 큰 건물의 로비와 같은 대형 공간에서의 이동 로봇의 위치 인식 및 맵 빌딩의 정확도를 향상시킬 수 있다.
또한, 본 발명의 일 실시예에 따르면, 부정확한 오도메트리로 인한 SLAM 오차, 예를 들어, 청소 로봇의 자이로 에러로 생기는 각도 에러의 정정이 가능하다.
이하, 첨부된 도면을 참조하여 본 발명의 일 실시예를 상세하게 설명한다. 본 발명을 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 또한, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1은 본 발명의 일 실시예에 따른 이동 로봇의 구성을 나타내는 블록도이고,
본 발명의 일 실시예에 따른 이동 로봇(100)은 주행부(110), 센서부(120), 제어부(130), 영상 획득부(140) 및 지도 구성부(150)를 포함한다.
주행부(110)는 이동 로봇(100)을 주행시키기 위하여 복수 개의 바퀴 및 복수 개의 바퀴에 구동력을 제공하기 위한 구동원을 포함할 수 있다. 센서부(120)는 이동 로봇(100)에 장착되어 이동 로봇(100)의 이동량 및 회전량을 감지한다. 이를 위해, 센서부(120)는 인코더 또는 자이로 센서를 포함할 수 있다. 예를 들어, 인코더에 의하여 움직인 거리 및 방향을 적분함으로써 현재 이동 로봇의 평면상의 2차원 좌표계상의 위치(position) 및 방향각 즉, 자세(pose) 추정이 가능하다. 통상적으로, 인코더는 짧은 구간에서는 비교적 정확하지만 적분을 계속 수행해나감에 따라 오차가 누적된다.
제어부(130)는 이동 로봇(100)의 각 부(110, 120, 140, 150) 사이의 데이터 송수신을 제어하여 이동 로봇(100)을 전체적으로 제어한다. 제어부(130)는 주행 부(110) 및 센서부(120)로부터 수신되는 이동량 및 회전량에 대한 데이터를 수신하여 이동 로봇(100)의 현재 위치를 인식하고, 위치 인식 결과에 따라 주행부(110)를 제어하여 이동을 제어한다.
제어부(130)는 이동 로봇(100)의 위치를 이동 로봇(100)이 인식한 랜드마크들, 즉 특징점을 기준으로 인식할 수 있다. 따라서, 이동 로봇(100)이 자신의 위치를 정확하게 인식하기 위해서는 이동 로봇(100)이 인식한 랜드마크들의 위치가 정확하게 인식되어야 한다.
본 발명의 일 실시예에 따르면, 랜드마크는 사물의 모서리 또는 코너와 같은 형상을 특정시킬 수 있는 특징점을 의미하며, 천장 영상으로부터 추출될 수 있다. 이러한 특징점들은 랜드마크 지도의 기초가 된다. 또한, 랜드마크는 특징점을 추출할 수 없는 경우를 대비하여 닫힌 영역(Closed region)의 윤곽선에서 추출된 라인 또는 점이 될 수 있다. 예를 들어, 실내의 천장에서 특징점의 추출이 쉽지 않은 경우에 천장 영상중에서 조명 중의 원형이나 사각형의 윤곽선으로부터의 라인이나 점을 추출할 수 있다.
또한, 본 발명의 일 실시예에 따르면, 제어부(130)는 지도 구성부(150)에서 보정된 랜드마크 지도에 기초하여 위치를 인식할 수 있다.
영상 획득부(140)는 외부의 이미지를 포착하여 포착된 이미지를 디지털 신호로 변환한다. 영상 획득부(130)는 CCD(Charged Coupled Device) 모듈이나 CMOS(Complementary Metal Oxide Semiconductor) 모듈을 포함하여 구성될 수 있다. 영상 획득부(140)는 이동 로봇(100)이 주행하는 평면에 수직인 상방을 촬영하여 천 장 영상을 획득할 수 있다. 또한, 영상 획득부(140)는 천장 영상으로부터 랜드마크를 추출하고, 추출된 랜드마크에 대응하는 로컬 영상을 획득할 수 있다. 랜드마크는 공지의 해리스 코너 검출법 또는 분리와 결합(Split and Merge) 알고리즘 등에 의해 검출될 수 있다.
지도 구성부(150)는 이동 로봇(100)의 주행에 필요한 지도를 구성한다. 지도 구성부(150)는 그리드 맵 및 랜드마크 지도를 구성할 수 있다.
그리드 맵(grid map)은 자율이동로봇의 주위 환경을 작은 격자(grid)들로 나누어 각 격자에 물체가 있을 가능성을 확률적으로 표현하는 방법으로서 확률격자지도라고 말하기도 한다. 그리드 맵은 이동 로봇(100)으로부터의 이동량 및 회전량 정보에 기반한 위치 정보와 센서부(120)로부터의 장애물 감지 정보를 이용하여 구성될 수 있다. 또한, 지도 구성부(150)는 주행부(110)로부터의 위치 정보 및 영상 획득부(140)로부터의 천장 영상 정보를 이용하여 랜드마크 지도를 구성할 수 있다.
사람이 만든 인공 구조물에서 대부분 천장 패턴이 반복성을 갖거나, 천장에서 추출된 라인의 방향 그리고 구조물의 실제 장애물 또는 벽의 방향이 일치하거나 직각을 이루는 등 일정한 규칙을 가지고 있는 경우가 많다. 따라서, 본 발명의 일 실시예에 따른 지도 구성부(150)는 이러한 일정한 패턴의 규칙성을 이용하여 랜드마크 지도를 보정할 수 있다.
이를 위해, 지도 구성부(150)는 랜드마크를 추출하고, 추출된 랜드마크들 중 동종의 랜드마크들 간의 위치 관계를 기초로 하여 동종의 랜드마크들이 이루는 패턴을 추출할 수 있다. 동종의 랜드마크들이 이루는 패턴은 직선, 원 및 사각형 중 적어도 하나일 수 있다. 지도 구성부(150)는 추출된 패턴에 기초하여 이전에 구성한 랜드마크를 보정할 수 있다.
도 2는 도 1의 이동 로봇에 포함되는 지도 구성부(150)의 구성을 나타내는 도면이다.
본 발명의 일 실시예에 따르면, 지도 구성부(150)는 랜드마크 지도 구성부(210), 그리드 맵 구성부(220), 패턴 추출부(230) 및 랜드마크 지도 보정부(240)를 포함하여 구성될 수 있다.
랜드마크 지도 구성부(210)는 영상 획득부(140)로부터 획득한 천장 영상으로부터 다수 개의 랜드마크를 추출하고, 추출된 다수 개의 랜드마크 각각의 위치 정보 및 랜드마크 각각에 대한 로컬 영상을 포함하는 랜드마크 지도를 구성할 수 있다.
그리드 맵 구성부(220)는 이동 로봇(100)으로부터의 이동량 및 회전량 정보에 기반한 위치 정보와 센서부(120)로부터의 장애물 감지 정보를 이용하여 구성될 수 있다.
패턴 추출부(230)는 위치 정보 및 영상을 이용하여 동종의 랜드마크들이 이루는 패턴을 추출한다. 이를 위해, 패턴 추출부(230)는 랜드마크에 대한 로컬 영상의 유사도에 기초하여 동종의 랜드마크들끼리 그룹핑하고, 위치 정보를 이용하여 그룹핑된 동종의 랜드마크들이 이루는 패턴을 추출할 수 있다. 본 발명의 일 실시예에 따르면, 패턴 추출부(230)는 동종의 랜드마크들이 포함되도록 일정 두께 및 길이를 가지는 라인을 설정하고, 두께와 길이를 비교하여, 두께가 길이의 일정 비 율 이하이면 동종의 랜드마크들은 하나의 직선상에 존재하는 것으로 패턴을 추출할 수 있다.
랜드마크 지도 보정부(240)는 추출된 패턴을 이용하여 랜드마크 지도를 보정한다. 랜드마크 지도 보정부(240)는 동종의 랜드마크들이 하나의 직선상에 존재한다고 결정되는 경우, 동종의 랜드마크들이 결정된 직선상에 위치하도록 보정할 수 있다. 추출된 랜드마크들이 이루는 패턴에 기초하여 랜드마크 지도를 보정하는 것의 일예는 도 6에 도시되어 있다.
또한, 패턴 추출부(230)는 그리드 맵으로부터의 추출되는 장애물 정보의 패턴과 동종의 랜드마크들이 이루는 패턴 간의 관계를 추출할 수 있다. 이 경우, 랜드마크 지도 보정부(240)는 장애물 정보의 패턴과 동종의 랜드마크들이 이루는 패턴 간의 관계를 이용하여 랜드마크 지도를 보정할 수 있다. 랜드마크 지도 보정부(240)는 동종의 랜드마크들의 위치는 장애물 정보들이 이루는 직선과 직각 또는 평행이 되도록 보정할 수 있다. 장애물 정보와 동종의 랜드마크들이 이루는 패턴 간의 관계를 이용하여 랜드마크 지도를 보정하는 일예는 도 7a 및 도 7b에 도시되어 있다.
도 3은 본 발명의 일 실시예에 따른 3차원 공간상에 표시된 랜드마크 지도 및 그리드 맵을 나타내는 도면이다.
도 3의 3차원 공간(310)은 일정 패턴을 가지는 천장과 낮은 벽으로 둘러싸인 공간(301)을 이동 로봇의 주행하는 공간을 간략하게 나타내고, 지도(320)는 이동 로봇이 공간(301)을 주행하여 구성한 그리드 맵 및 랜드마크 지도를 3차원 공간상 에 나타낸 것이다. 도 3에 도시된 바와 같이, 천장 영상에 나타난 격자 패턴의 교점이 랜드마크로서 추출될 수 있다.
도 4는 도 3에 도시된 랜드마크 지도 및 그리드 맵을 위에서 내려다본 것을 나타내는 도면이다. 도 4에 도시된 바와 같이 랜드마크 지도에서 각 랜드마크 정보는 위치 정보 및 랜드마크의 로컬 영상인 영상 패치 정보를 포함하여 구성될 수 있다.
도 5는 본 발명의 일 실시예에 따른 랜드마크 그룹핑을 설명하기 위한 도면이다.
본 발명의 일 실시예에 따르면, 모든 랜드마크의 로컬 영상의 유사도를 비교하여 동종의 랜드마크인지를 확인할 수 있다. 랜드마크에 대한 로컬 영상의 유사도는 NCC(Normalized Cross Correlation), SSD(Sum of Squared Differences), SAD(Sum of Absolute Differences), MAD(Mean of Absolute Differences) 연산 등의 방법을 이용하여 결정할 수 있다.
도 5를 참조하면, 천장 영상의 랜드마크가 원형으로 표시된 위치에서 추출되고, 코너점(1, 11, 21, 31)로부터 추출된 랜드마크가 동종의 랜드마크로 그룹핑되고, 코너점(2, 12, 22, 32)로부터 추출된 랜드마크가 동종의 랜드마크로 그룹핑될 수 있다. 도 5에서 코너점(1, 12)를 포함하는 직사각형 패턴은 천장의 형광등을 나타낸다.
도 6은 본 발명의 일 실시예에 따른 랜드마크들이 이루는 패턴에 기초하여 랜드마크 지도가 보정되는 것을 나타내는 도면이다.
도 6의 도면 부호 610는 추출된 랜드마크 중에서 동종의 랜드마크로 그룹핑된 랜드마크들을 도시한 것이다. 그룹핑된 랜드마크들을 포함하는 라인을 설정하면 라인 두께가 a이고, 라인 길이가 b인 2차원 라인 형상의 공간을 설정할 수 있다.
라인 두께 a가 라인 길이 b의 일정 비율 예를 들어, 1/100 이하인 경우에는, 동종의 랜드마크들이 동일한 직선 위에 있다고 결정할 수 있다. 이 경우, 도면 부호 620에 도시된 바와 같이 그룹핑된 랜드마크들이 동일한 직선 위에 존재하도록 추출된 랜드마크들의 위치를 보정할 수 있다.
도 7a 및 도 7b는 본 발명의 일 실시예에 따른 그리드 맵의 장애물 정보와 랜드마크들의 위치 정보를 이용하여 랜드 마크 지도가 보정되는 것을 나타내는 도면이다.
도 7a의 도면부호 710은 그리드 맵으로부터 획득되는 장애물 정보와 랜드마크 지도로부터 얻은 동종의 랜드마크 그룹을 나타낸다. 도면부호 710에 도시된 바와 같이, 장애물을 나타내는 격자의 배열을 포함하는 장애물 라인을 설정하고, 동종의 랜드마크 그룹을 포함하는 랜드마크 라인을 설정한다. 이 경우, 장애물 라인과 랜드마크 라인간의 각도가 0°에 가까우면, 예를 들어, -5° 내지 5° 범위에 있으면 장애물 라인과 랜드마크 라인은 평행을 이루는 것으로 결정할 수 있다.
랜드마크 라인을 장애물 라인과 평행하다고 결정되면, 도면부호 720에 나타낸 바와 같이, 랜드마크 라인을 장애물 라인과 평행하게 보정한다. 그런 다음, 설정된 랜드마크 라인에 위치했던 랜드마크들이 보정된 랜드마크 라인상에 위치하도 록 랜드마크들의 위치를 보정할 수 있다.
도 7b의 도면부호 730은 그리드 맵으로부터 획득되는 장애물 정보와 랜드마크 지도로부터 얻은 동종의 랜드마크 그룹을 나타낸다. 도면부호 730에 도시된 바와 같이, 장애물을 나타내는 격자의 배열을 포함하는 장애물 라인을 설정하고, 동종의 랜드마크 그룹을 포함하는 랜드마크 라인을 설정한다. 이 경우, 장애물 라인과 랜드마크 라인간의 각도가 수직에 가까우면, 예를 들어, 85° 내지 95° 범위에 있으면 장애물 라인과 랜드마크 라인은 수직을 이루는 것으로 결정할 수 있다.
랜드마크 라인을 장애물 라인과 수직하다고 결정되면, 도면부호 740에 나타낸 바와 같이, 랜드마크 라인을 장애물 라인과 수직하게 보정한다. 그런 다음, 설정된 랜드마크 라인에 위치했던 랜드마크들이 보정된 랜드마크 라인상에 위치하도록 랜드마크들의 위치를 보정할 수 있다.
도 8은 본 발명의 일 실시예에 따른 랜드마크 지도 구성 방법을 나타내는 순서도이다.
다수 개의 랜드마크 각각의 위치 정보 및 랜드마크 각각에 대한 로컬 영상을 포함하는 랜드마크 지도를 구성한다(S 810). 위치 정보 및 로컬 영상을 이용하여 동종의 랜드마크들이 이루는 패턴을 추출한다(S 820). 동종의 랜드마크들이 이루는 패턴은 직선, 원 및 사각형 중 적어도 하나일 수 있다.
패턴을 추출하는 단계(S 820)를 수행하기 위해, 랜드마크에 대한 영상의 유사도에 기초하여 동종의 랜드마크들끼리 그룹핑하고, 위치 정보를 이용하여 그룹핑된 동종의 랜드마크들이 이루는 패턴을 추출할 수 있다.
추출된 패턴을 이용하여 랜드마크 지도를 보정한다(S 830).
한편, 패턴을 추출하는 단계(S 820)에서 그리드 맵으로부터의 추출되는 장애물 정보의 패턴을 추출할 수 있다. 이 경우, 랜드마크 지도를 보정하는 단계(S 830)에서, 추출된 장애물 정보의 패턴과 동종의 랜드마크들이 이루는 패턴을 비교하고, 장애물 정보와 동종의 랜드마크들이 이루는 패턴 간의 비교 결과에 기초하여 랜드마크 지도를 보정할 수 있다. 예를 들어, 동종의 랜드마크들의 패턴과 장애물 정보의 패턴이 직선인 경우, 랜드마크들의 직선이 장애물 정보의 직선과 직각 또는 평행이 되도록 보정할 수 있다.
본 발명은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로서 구현될 수 있다. 상기의 프로그램을 구현하는 코드들 및 코드 세그먼트들은 당해 분야의 컴퓨터 프로그래머에 의하여 용이하게 추론될 수 있다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 디스크 등을 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드로 저장되고 실행될 수 있다.
이상의 설명은 본 발명의 일 실시예에 불과할 뿐, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명의 본질적 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현할 수 있을 것이다. 따라서, 본 발명의 범위는 전술한 실시예에 한정되지 않고 특허 청구범위에 기재된 내용과 동등한 범위 내에 있는 다양한 실시 형태가 포함되도록 해석되어야 할 것이다.
도 1은 본 발명의 일 실시예에 따른 이동 로봇의 구성을 나타내는 블록도이고,
도 2는 도 1의 이동 로봇에 포함되는 지도 구성부(150)의 구성을 나타내는 도면이고,
도 3은 본 발명의 일 실시예에 따른 3차원 공간상에 표시된 랜드마크 지도 및 그리드 맵을 나타내는 도면이고,
도 4는 도 3에 도시된 랜드마크 지도 및 그리드 맵을 위에서 내려다본 것을 나타내는 도면이고,
도 5는 본 발명의 일 실시예에 따른 랜드마크 그룹핑을 설명하기 위한 도면이고,
도 6은 본 발명의 일 실시예에 따른 랜드마크들이 이루는 패턴에 기초하여 랜드마크 지도가 보정되는 것을 나타내는 도면이고,
도 7a 및 도 7b는 본 발명의 일 실시예에 따른 그리드 맵의 장애물 정보와 랜드마크들의 위치 정보를 이용하여 랜드마크 지도가 보정되는 것을 나타내는 도면이고,
도 8은 본 발명의 일 실시예에 따른 지도 구성 방법을 나타내는 순서도이다.

Claims (15)

  1. 다수 개의 랜드마크 각각의 위치 정보 및 로컬 영상을 포함하는 랜드마크 지도를 구성하는 랜드마크 지도 구성부;
    상기 위치 정보 및 상기 로컬 영상을 이용하여 동종의 랜드마크들이 이루는 패턴을 추출하는 패턴 추출부; 및
    상기 추출된 패턴을 이용하여 상기 랜드마크 지도를 보정하는 랜드마크 지도 보정부를 포함하는 지도 구성 장치.
  2. 제1항에 있어서,
    상기 패턴 추출부는 상기 랜드마크들의 로컬 영상들 간의 유사도에 기초하여 동종의 랜드마크들끼리 그룹핑하고, 상기 위치 정보를 이용하여 상기 그룹핑된 동종의 랜드마크들이 이루는 패턴을 추출하는 지도 구성 장치.
  3. 제1항에 있어서,
    상기 동종의 랜드마크들이 이루는 패턴은 직선, 원 및 사각형 중 적어도 하나인 지도 구성 장치.
  4. 제1항에 있어서,
    천장 영상을 포착하고, 상기 천장 영상으로부터 상기 랜드마크 각각에 대한 로컬 영상을 획득하는 영상 획득부를 더 포함하는 것을 특징으로 하는 지도 구성 장치.
  5. 제1항에 있어서,
    그리드 맵을 구성하는 그리드 맵 구성부를 더 포함하고,
    상기 패턴 추출부는 상기 그리드 맵으로부터 장애물 정보의 패턴을 추출하고, 상기 추출된 장애물 정보의 패턴과 상기 동종의 랜드마크들이 이루는 패턴을 비교하고,
    상기 랜드마크 지도 보정부는 상기 비교 결과를 이용하여 상기 랜드마크 지도를 보정하는 지도 구성 장치.
  6. 제5항에 있어서,
    상기 랜드마크 지도 보정부는 상기 장애물 정보의 패턴 및 상기 동종의 랜드마크들이 이루는 패턴이 직선인 경우, 상기 랜드마크들의 위치를 상기 장애물 정보의 패턴에 해당하는 직선과 직각 또는 평행이 되도록 보정하는 지도 구성 장치.
  7. 제1항에 있어서,
    상기 패턴 추출부가 추출한 동종의 랜드마크들이 이루는 패턴이 직선인 경우, 상기 랜드마크 지도 보정부는 상기 동종의 랜드마크들이 상기 직선상에 위치하도록 보정하는 지도 구성 장치.
  8. 제1항에 있어서,
    상기 지도 구성 장치는 상기 보정된 랜드마크 지도에 기초하여 위치를 인식하고, 이동이 제어되는 이동 로봇인 지도 구성 장치.
  9. 다수 개의 랜드마크 각각의 위치 정보 및 로컬 영상을 포함하는 랜드마크 지도를 구성하는 단계;
    상기 위치 정보 및 상기 로컬 영상을 이용하여 동종의 랜드마크들이 이루는 패턴을 추출하는 단계; 및
    상기 추출된 패턴을 이용하여 상기 랜드마크 지도를 보정하는 단계를 포함하는 지도 구성 방법.
  10. 제9항에 있어서,
    상기 패턴을 추출하는 단계는,
    상기 랜드마크들에 대한 로컬 영상들의 유사도에 기초하여 동종의 랜드마크들끼리 그룹핑하는 단계; 및
    상기 위치 정보를 이용하여 상기 그룹핑된 동종의 랜드마크들이 이루는 패턴을 추출하는 단계를 포함하는 지도 구성 방법.
  11. 제9항에 있어서,
    상기 동종의 랜드마크들이 이루는 패턴은 직선, 원 및 사각형 중 적어도 하나인 지도 구성 방법.
  12. 제9항에 있어서,
    상기 랜드마크 각각에 대한 로컬 영상은 천장 영상으로부터 획득되는 지도 구성 방법.
  13. 제9항에 있어서,
    그리드 맵을 구성하는 단계;
    상기 그리드 맵으로부터 장애물 정보의 패턴을 추출하는 단계; 및
    상기 추출된 장애물 정보의 패턴과 상기 동종의 랜드마크들이 이루는 패턴을 비교하는 단계를 더 포함하고,
    상기 추출된 패턴을 이용하여 상기 랜드마크 지도를 보정하는 단계에서,
    상기 장애물 정보의 패턴과 상기 동종의 랜드마크들이 이루는 패턴 간의 비교 결과에 기초하여 랜드마크 지도를 보정하는 지도 구성 방법.
  14. 제13항에 있어서,
    상기 랜드마크 지도를 보정하는 단계에서,
    상기 동종의 랜드마크들의 패턴과 상기 장애물 정보의 패턴이 직선인 경우, 상기 동종의 랜드마크들의 위치가 상기 장애물 정보의 패턴에 해당하는 직선과 직 각 또는 평행이 되도록 보정되는 지도 구성 방법.
  15. 제9항에 있어서,
    상기 위치 정보 및 상기 로컬 영상을 이용하여 동종의 랜드마크들이 이루는 패턴을 추출하는 단계에서, 상기 동종의 랜드마크들이 이루는 패턴이 직선으로 결정되는 경우,
    상기 랜드마크 지도를 보정하는 단계에서,
    상기 동종의 랜드마크들이 상기 결정된 직선상에 위치하도록 보정하는 지도 구성 방법.
KR1020080065539A 2008-07-07 2008-07-07 이동 로봇의 지도 구성 장치 및 방법 KR101503904B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020080065539A KR101503904B1 (ko) 2008-07-07 2008-07-07 이동 로봇의 지도 구성 장치 및 방법
US12/320,289 US8508527B2 (en) 2008-07-07 2009-01-22 Apparatus and method of building map for mobile robot
EP09153114A EP2144131B1 (en) 2008-07-07 2009-02-18 Apparatus and method of building map for mobile robot

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020080065539A KR101503904B1 (ko) 2008-07-07 2008-07-07 이동 로봇의 지도 구성 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20100005488A true KR20100005488A (ko) 2010-01-15
KR101503904B1 KR101503904B1 (ko) 2015-03-19

Family

ID=41151916

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080065539A KR101503904B1 (ko) 2008-07-07 2008-07-07 이동 로봇의 지도 구성 장치 및 방법

Country Status (3)

Country Link
US (1) US8508527B2 (ko)
EP (1) EP2144131B1 (ko)
KR (1) KR101503904B1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110091316A (ko) * 2010-02-05 2011-08-11 삼성전자주식회사 주행 경로 계획 장치 및 방법
KR20130084747A (ko) * 2012-01-18 2013-07-26 엘지전자 주식회사 영상 기반 위치 인식을 위한 특징점 등록 장치, 이를 사용한 등록 방법, 및 이를 포함하는 로봇 청소기
KR20140014088A (ko) * 2010-12-23 2014-02-05 마이크로소프트 코포레이션 모바일 컴퓨팅 장치 센서를 이용한 프라이빗 스페이스의 맵 생성
KR20180122941A (ko) * 2017-05-04 2018-11-14 폭스바겐 악티엔 게젤샤프트 자동차에 의해 검출된 데이터의 위치 결정을 위한 방법, 장치 및 명령들을 포함하는 컴퓨터 판독 가능한 저장 매체

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8930023B2 (en) 2009-11-06 2015-01-06 Irobot Corporation Localization by learning of wave-signal distributions
US8744665B2 (en) * 2009-07-28 2014-06-03 Yujin Robot Co., Ltd. Control method for localization and navigation of mobile robot and mobile robot using the same
US20120230550A1 (en) * 2011-03-10 2012-09-13 Jacob Kraut Method and Apparatus for Generating a Map from Landmarks
US10552933B1 (en) 2015-05-20 2020-02-04 Digimarc Corporation Image processing methods and arrangements useful in automated store shelf inspections
CN106325266A (zh) * 2015-06-15 2017-01-11 联想(北京)有限公司 一种空间分布图的构建方法及电子设备
WO2017037753A1 (ja) * 2015-08-28 2017-03-09 日産自動車株式会社 車両位置推定装置、車両位置推定方法
CN108027248A (zh) * 2015-09-04 2018-05-11 克朗设备公司 具有基于特征的定位和导航的工业车辆
JP7147119B2 (ja) 2015-11-02 2022-10-05 スターシップ テクノロジーズ オウ 自律的な自己位置推定のためのデバイス及び方法
JP2019513274A (ja) * 2016-03-29 2019-05-23 ボサ ノバ ロボティクス アイピー, インク.Bossa Nova Robotics Ip, Inc. 品物の設置、特定および計数のためのシステムおよび方法
US10448555B2 (en) 2016-05-27 2019-10-22 Cnh Industrial America Llc System and method for scouting vehicle mapping
KR101962855B1 (ko) 2016-12-30 2019-03-27 부산대학교 산학협력단 중복 그리드 기법을 이용한 실내 지도 생성 장치 및 방법
CN107491070A (zh) * 2017-08-31 2017-12-19 成都通甲优博科技有限责任公司 一种移动机器人路径规划方法及装置
CN107943026B (zh) * 2017-11-09 2020-11-27 国网湖北省电力公司 Mecanum轮巡视机器人及其巡视方法
CN108388245B (zh) * 2018-01-26 2021-02-26 温州大学瓯江学院 一种agv小车室内定位导航系统及其控制方法
KR20200030305A (ko) 2018-09-12 2020-03-20 삼성전자주식회사 영상 처리를 위한 학습 데이터 생성 방법, 영상 처리 방법, 및 그 장치들
JP7319824B2 (ja) * 2019-05-16 2023-08-02 株式会社日立製作所 移動体
CN112013844B (zh) * 2019-05-31 2022-02-11 北京小米智能科技有限公司 建立室内环境地图的方法及装置
KR102314537B1 (ko) * 2019-06-18 2021-10-18 엘지전자 주식회사 이동 로봇 및 그 제어방법
WO2021034681A1 (en) 2019-08-16 2021-02-25 Bossa Nova Robotics Ip, Inc. Systems and methods for image capture and shelf content detection
CN111665842B (zh) * 2020-06-09 2021-09-28 山东大学 一种基于语义信息融合的室内slam建图方法及系统
US11935292B2 (en) 2020-06-22 2024-03-19 Carnegie Robotics, Llc Method and a system for analyzing a scene, room or venue

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5793934A (en) * 1994-06-22 1998-08-11 Siemens Aktiengesellschaft Method for the orientation, route planning and control of an autonomous mobile unit
JP3986220B2 (ja) 1999-10-19 2007-10-03 オリンパス株式会社 情報表示部材及びそれを用いた位置検出方法
US7123263B2 (en) 2001-08-14 2006-10-17 Pulse Entertainment, Inc. Automatic 3D modeling system and method
KR100483548B1 (ko) * 2002-07-26 2005-04-15 삼성광주전자 주식회사 로봇 청소기와 그 시스템 및 제어 방법
KR100493159B1 (ko) 2002-10-01 2005-06-02 삼성전자주식회사 이동체의 효율적 자기 위치 인식을 위한 랜드마크 및 이를이용한 자기 위치 인식 장치 및 방법
US7774158B2 (en) 2002-12-17 2010-08-10 Evolution Robotics, Inc. Systems and methods for landmark generation for visual simultaneous localization and mapping
JP2004298977A (ja) * 2003-03-28 2004-10-28 Sony Corp 行動制御装置、行動制御方法及び行動制御プログラム、並びに移動型ロボット装置
GB2418558B (en) 2003-06-20 2007-07-04 Mitsubishi Electric Corp Image display apparatus
US7064810B2 (en) * 2003-09-15 2006-06-20 Deere & Company Optical range finder with directed attention
KR100552691B1 (ko) * 2003-09-16 2006-02-20 삼성전자주식회사 이동로봇의 자기위치 및 방위각 추정방법 및 장치
KR100506095B1 (ko) * 2003-11-17 2005-08-03 삼성전자주식회사 지능형 시스템에 있어서 표식검출방법 및 장치
KR100776215B1 (ko) 2005-01-25 2007-11-16 삼성전자주식회사 상향 영상을 이용한 이동체의 위치 추정 및 지도 생성장치 및 방법과 그 장치를 제어하는 컴퓨터 프로그램을저장하는 컴퓨터로 읽을 수 있는 기록 매체
KR20060089354A (ko) 2005-02-04 2006-08-09 현대자동차주식회사 수치지도 디스플레이 데이터의 자동 배치방법
DE112006000295T5 (de) 2005-02-23 2008-04-17 Matsushita Electric Works, Ltd., Kadoma Autonomes Fahrzeug und Verfahren zur Erkennung von planaren Hindernissen
JP4300199B2 (ja) * 2005-06-13 2009-07-22 株式会社東芝 移動ロボット、移動ロボットの位置姿勢算出方法、移動ロボットの自律走行システム
WO2008013568A2 (en) * 2005-12-30 2008-01-31 Irobot Corporation Autonomous mobile robot
JP4753103B2 (ja) * 2006-03-31 2011-08-24 村田機械株式会社 移動体位置の推定装置と推定方法及び推定プログラム
KR100776944B1 (ko) 2006-05-01 2007-11-21 주식회사 한울로보틱스 이동로봇의 맵 빌딩방법
KR100843085B1 (ko) * 2006-06-20 2008-07-02 삼성전자주식회사 이동 로봇의 격자지도 작성 방법 및 장치와 이를 이용한영역 분리 방법 및 장치
KR100785784B1 (ko) * 2006-07-27 2007-12-13 한국전자통신연구원 인공표식과 오도메트리를 결합한 실시간 위치산출 시스템및 방법

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110091316A (ko) * 2010-02-05 2011-08-11 삼성전자주식회사 주행 경로 계획 장치 및 방법
KR20140014088A (ko) * 2010-12-23 2014-02-05 마이크로소프트 코포레이션 모바일 컴퓨팅 장치 센서를 이용한 프라이빗 스페이스의 맵 생성
US11181382B2 (en) 2010-12-23 2021-11-23 Microsoft Technology Licensing, Llc Generating maps of private spaces using mobile computing device sensors
KR20130084747A (ko) * 2012-01-18 2013-07-26 엘지전자 주식회사 영상 기반 위치 인식을 위한 특징점 등록 장치, 이를 사용한 등록 방법, 및 이를 포함하는 로봇 청소기
KR20180122941A (ko) * 2017-05-04 2018-11-14 폭스바겐 악티엔 게젤샤프트 자동차에 의해 검출된 데이터의 위치 결정을 위한 방법, 장치 및 명령들을 포함하는 컴퓨터 판독 가능한 저장 매체

Also Published As

Publication number Publication date
KR101503904B1 (ko) 2015-03-19
EP2144131B1 (en) 2011-11-16
US20100001991A1 (en) 2010-01-07
EP2144131A3 (en) 2010-08-04
US8508527B2 (en) 2013-08-13
EP2144131A2 (en) 2010-01-13

Similar Documents

Publication Publication Date Title
KR101503904B1 (ko) 이동 로봇의 지도 구성 장치 및 방법
KR101686170B1 (ko) 주행 경로 계획 장치 및 방법
KR102367438B1 (ko) 마커를 결합한 동시 위치결정과 지도작성 내비게이션 방법, 장치 및 시스템
US8588471B2 (en) Method and device of mapping and localization method using the same
KR102403504B1 (ko) 이동 로봇 및 그 제어 방법
KR101503903B1 (ko) 이동 로봇의 지도 구성 장치 및 방법
KR101538775B1 (ko) 전방 영상을 이용한 위치 인식 장치 및 방법
KR101782057B1 (ko) 지도 생성 장치 및 방법
Acharya et al. BIM-Tracker: A model-based visual tracking approach for indoor localisation using a 3D building model
US8204643B2 (en) Estimation device, estimation method and estimation program for position of mobile unit
EP2049308A1 (en) System and method for calculating location using a combination of odometry and landmarks
KR20110011424A (ko) 이동 로봇의 위치 인식 및 주행 제어 방법과 이를 이용한 이동 로봇
CN112013858B (zh) 定位方法、装置、自移动设备和存储介质
KR101341204B1 (ko) 레이저 스캐너 및 구조물을 이용한 모바일 로봇의 위치추정장치 및 방법
CN112013850B (zh) 定位方法、装置、自移动设备和存储介质
JP5819257B2 (ja) 移動体位置推定方法及び移動体
KR102490521B1 (ko) 라이다 좌표계와 카메라 좌표계의 벡터 정합을 통한 자동 캘리브레이션 방법
US20220214696A1 (en) Simultaneous Localization and Mapping
Shacklock et al. Visual guidance for autonomous vehicles: capability and challenges
KR20140053712A (ko) 센서 융합에 의한 실내로봇용 위치인식 방법
Llamazares et al. 3D map building using a 2D laser scanner
KR100949116B1 (ko) 이동 로봇의 위치 인식 및 지도 작성 방법
KR20140032113A (ko) 자연랜드마크 및 인공랜드마크와 엔코더를 이용한 지능형 이동로봇의 위치인식 방법
KR20140032116A (ko) 자연랜드마크 및 인공랜드마크와 관성센서를 이용한 지능형 이동로봇의 위치인식 방법
KR102631313B1 (ko) Slam 기술 구현을 위한 비전 데이터 및 라이다 데이터 간의 실시간 분석 및 대조를 통해 위치 오차 보정이 가능한 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180220

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20190221

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20200225

Year of fee payment: 6