KR20090113746A - 물체의 공간적 의미정보를 이용한 로봇의 자기위치 추정 방법 - Google Patents

물체의 공간적 의미정보를 이용한 로봇의 자기위치 추정 방법 Download PDF

Info

Publication number
KR20090113746A
KR20090113746A KR1020080103769A KR20080103769A KR20090113746A KR 20090113746 A KR20090113746 A KR 20090113746A KR 1020080103769 A KR1020080103769 A KR 1020080103769A KR 20080103769 A KR20080103769 A KR 20080103769A KR 20090113746 A KR20090113746 A KR 20090113746A
Authority
KR
South Korea
Prior art keywords
robot
image
objects
distance
information
Prior art date
Application number
KR1020080103769A
Other languages
English (en)
Other versions
KR100998709B1 (ko
Inventor
서일홍
최병욱
이주호
Original Assignee
한양대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한양대학교 산학협력단 filed Critical 한양대학교 산학협력단
Publication of KR20090113746A publication Critical patent/KR20090113746A/ko
Application granted granted Critical
Publication of KR100998709B1 publication Critical patent/KR100998709B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Image Analysis (AREA)
  • Manipulator (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 로봇의 자기위치 추정방법에 관한 것으로, (a) 카메라로 촬영한 주변영상에 나타난 물체를 식별하는 단계; (b) 상기 식별된 물체까지의 거리를 산출하고, 산출된 거리의 크기에 따라 원근의 정도를 나타내는 개별 거리등급을 부여하는 단계; (c) 상기 주변영상에 나타난 물체가 다수일 때, 상기 카메라를 기준으로 물체간의 상대적인 각도를 측정하여 상기 물체 사이의 원근의 정도를 나타내는 상대 거리등급을 부여하는 단계; (d) 상기 식별된 물체의 정보, 상기 개별 거리등급 및 상기 상대 각도등급을 포함하는 공간적 의미정보를 기초로 상기 주변영상의 촬영 위치를 정의하는 단계; (e) 상기 로봇의 위치를 변경하면서 상기 (a) 내지 (d) 단계를 반복하여, 상기 로봇의 위치들을 정의하는 지도 데이터베이스를 구축하는 단계; 및 (f) 상기 지도 데이터베이스에 저장된 상기 공간적 의미정보와, 상기 로봇의 카메라로부터 획득한 탐색 영상의 공간적 의미정보를 비교하여 상기 로봇의 위치를 추정하는 단계를 포함하는 것을 특징으로 한다.
본 발명은 로봇의 자기위치 추정을 위하여 기존의 정확한 수치적 데이터 대신에 단일 카메라를 이용하여 물체의 종류와 로봇에서 관측되는 순간의 축약된 공간적 의미정보만을 이용하여 자기위치를 추정할 수 있는 방법을 제시한다.
공간적 의미 정보를 이용한 로봇의 자기위치 추정에 사용되는 지도는 가독성이 높기 때문에 사람과의 상호작용의 임무 수행에 적합하며, 동적 환경 변화에 대해 둔감한 정보만을 사용하기 때문에 복잡한 환경에서도 로봇의 자기 위치 추정 성 능을 개선할 수 있다.
또한, 본 발명은 카메라를 이용하여 한 이미지 내에서의 물체 정보와 공간적 의미정보만을 추출하여 사용함으로 높은 가격의 센서를 사용하지 않기 때문에 중저가의 로봇을 제공할 수 있는 기초가 된다.
공간적 의미정보, 자기위치 추정

Description

물체의 공간적 의미정보를 이용한 로봇의 자기위치 추정 방법{A METHOD OF ROBOT LOCALIZATION USING SPATIAL SEMANTICS OF OBJECTS}
본 발명은 로봇의 자기위치 추정 방법에 관한 것으로서, 더욱 상세하게는, 주어진 공간에서 주행하는 로봇이 주변을 촬영하여 얻은 영상 데이터를 기초로 자신의 위치를 추정하는 방법에 관한 것이다.
사람은 자신의 공간에서 물체들의 위치를 좌표로 인식하지 않는다. 오히려, 물체의 위치에 대해 개략적인 원근으로 인식하고 표현할 뿐인데, 예를 들어, 물체가 매우 가까이 있다거나, 가까이 있다거나, 멀리 있다거나 하는 방식으로 인식하고 있을 뿐이다.
그리고, 물체들 사이의 상대적인 위치관계도 개략적으로 인식할 뿐이다. A라는 물체가 B라는 물체의 오른쪽에 위치하고 있고, 바로 옆에 있다는 식으로 인식할 뿐이다.
이때 사용되는 원근의 표현은 사람마다 약간 다를 수 있지만, 주로 물체의 종류에 따라 달라진다. 예컨대, 컵과 주전자가 1미터 정도 떨어져 있을 때, 컵과 주전자가 매우 가까이 있다고 표현하지 않지만, 건물과 건물 사이의 간격이 1미터라면 매우 가까이 있다고 표현하는 것이 적절할 것이다.
지나치게 정확한 수치적인 데이터를 이용하는 것이 오히려 로봇의 주행과 판단에 독이 될 수 있다. 로봇이 사람과 흡사한 사고를 할 수 있도록 함으로써, 더욱 똑똑해지고 오류를 범하지 않을 수 있다.
종래 상용 로봇에 구현된 자기위치 추정 방법은 주로 좌표계에 기초한 것이다. 즉, 주어진 공간에서 기준을 정한 후 공간에 존재하는 물체의 종류와 그 위치 정보를 좌표와 같은 수치 데이터로 환산하여 지도를 작성하고, 로봇의 위치와 주변 물체간의 상대적 거리 등의 공간 정보를 수치적으로 환산하여 로봇의 위치를 역으로 환산하는 방법을 취하고 있다.
이러한 방법은 수치적인 데이터를 사용하기 때문에 로봇 주행에서 발생하는 수 cm의 오차만으로도 자기 위치 추정이 실패할 수 있고, 전체 지도에 대해 통일된 좌표를 사용하기 때문에 누적된 오차로 인해 동작에 오류를 일으킬 수 있다.
특히, 주어진 공간의 환경이 변경되는 등의 동적 환경은 이러한 수치적 데이터를 이용한 지도 및 이를 이용한 자기위치 추정이 매우 곤란한 면이 있다.
따라서, 본 발명은 로봇이 사람의 사고 형태와 흡사한 방식으로 주변 물체들의 종류, 물체의 위치 등의 공간적 의미정보를 이용하도록 하여 자기위치를 추정함에 있어 오차 및 동적 환경에 강건한 자기위치추정방법을 제공하기 위한 것이다.
상기 목적은 본 발명의 일 양상에 따른, 주어진 공간에서 로봇이 자기위치를 추정하는 방법에 있어서, (a) 카메라로 촬영한 주변영상에 나타난 물체를 식별하는 단계; (b) 상기 식별된 물체까지의 거리를 산출하고, 산출된 거리의 크기에 따라 원근의 정도를 나타내는 개별 거리등급을 부여하는 단계; (c) 상기 주변영상에 나타난 물체가 다수일 때, 상기 카메라를 기준으로 물체간의 상대적인 각도를 측정하여 상대 각도등급을 부여하는 단계; (d) 상기 식별된 물체의 정보, 상기 개별 거리등급 및 상기 상대 각도등급을 포함하는 공간적 의미정보를 기초로 상기 주변영상의 촬영 위치를 정의하는 단계; (e) 상기 로봇의 위치를 변경하면서 상기 (a) 내지 (d) 단계를 반복하여, 상기 로봇의 위치들을 정의하는 지도 데이터베이스를 구축하는 단계; 및 (f) 상기 지도 데이터베이스에 저장된 상기 공간적 의미정보와, 상기 로봇의 카메라로부터 획득한 탐색 영상의 공간적 의미정보를 비교하여 상기 로봇의 위치를 추정하는 단계를 포함하는 것을 특징으로 하는 로봇의 자기위치 추정 방법 에 의해 달성될 수 있다.
여기에서, 상기 개별 거리등급과 상기 상대 각도등급은 각각의 등급에 대응하는 대표값을 가지며, 상기 (f)단계는, 상기 지도 데이터베이스에 저장된 상기 로봇의 위치들에 대한 상기 식별된 물체의 정보에 대응하는 상기 대표값과 상기 탐색 영상의 공간적 의미정보의 유사도를 산출하는 단계; 및 상기 유사도에 기초하여 상기 탐색 영상을 촬영한 위치를 추정하는 단계를 포함할 수 있다.
그리고, 상기 유사도는 다음과 같은 수식에 의해 결정될 수 있다:
Figure 112008073385109-PAT00001
여기에서, i,j는 탐색 영상에 나타난 물체를 구별하기 위한 인덱스, N은 검출된 물체의 개수, de는 탐색 영상내 물체까지 산출된 거리, dr은 지도 데이터베이스에 기 저장된 물체까지의 거리에 대응하는 대표값, we는 탐색 영상내 물체들 사이의 각도 데이터, wr은 각도 데이터에 대응하여 산출된 물체간 상대 각도등급의 대표값이다.
또한, 상기 목적은 본 발명의 다른 양상에 따른 제한된 공간에서 로봇이 자기위치를 추정하는 방법에 있어서, 상기 로봇의 위치를 변경하면서, 상기 로봇이 촬영한 영상 내의 공간정보를 상기 로봇의 위치를 나타내는 고유정보로 정의하고 지도 데이터베이스로 저장하는 단계; 상기 로봇이 탐색 영상을 촬영, 획득하는 단계; 상기 로봇의 탐색 영상에 나타난 공간정보와 상기 지도 데이터베이스에 저장된 공간정보의 유사도를 수치화하는 단계; 및 상기 수치화된 유사도에 기초하여 상기 탐색 영상을 획득할 때의 로봇의 위치를 추정하는 단계를 포함하고, 상기 공간정보는 영상에 나타난 물체의 식별정보, 식별된 물체까지의 개별 거리, 및 영상에 나타난 물체들 사이의 각도에 대한 정보를 포함하는 것을 특징으로 하는 로봇의 자기위치 추정 방법에 의해 달성될 수 있다.
여기에서, 상기 식별된 물체까지의 거리는 "매우 가깝다", "가깝다", "멀다", "매우 멀다" 중 하나의 공간적 의미정보로 평가되어 상기 지도 데이터베이스에 저장될 수 있다.
또한, 상기 물체들 사이의 각도는 "좌측으로 매우 가깝다", "좌측으로 가깝다", "좌측으로 멀다", "좌측으로 매우 멀다", "우측으로 매우 가깝다", "우측으로 가깝다", "우측으로 멀다", 및 "우측으로 매우 멀다" 중 하나의 공간적 의미정보로 평가되어 상기 지도 데이터베이스에 저장될 수 있다.
여기에서, 상기 공간적 의미정보는 하나의 대표값을 가지고, 상기 유사도는 상기 대표값을 기초로 산출될 수 있다.
또한, 상기 수치화된 유사도에 기초하여 상기 탐색 영상을 획득할 때의 로봇의 위치를 추정하는 단계는, 상기 탐색 영상을 획득하기 이전의 위치에서 추정된 로봇의 위치로부터, 상기 유사도가 산출되는 위치로 이동하게 될 확률을 상기 유사도에 곱하여 로봇의 최종적인 자기위치를 추정하는 단계를 포함할 수 있다.
본 발명은 로봇의 자기위치 추정을 위하여 기존의 정확한 수치적 데이터 대신에 단일 카메라를 이용하여 물체의 종류와 로봇에서 관측되는 순간의 축약된 공간적 의미정보만을 이용하여 자기위치를 추정할 수 있는 방법을 제시한다.
공간적 의미 정보를 이용한 로봇의 자기위치 추정에 사용되는 지도는 가독성이 높기 때문에 사람과의 상호작용의 임무 수행에 적합하며, 동적 환경 변화에 대해 둔감한 정보만을 사용하기 때문에 복잡한 환경에서도 로봇의 자기 위치 추정 성능을 개선할 수 있다.
또한, 본 발명은 카메라를 이용하여 한 이미지 내에서의 물체 정보와 공간적 의미정보만을 추출하여 사용함으로 높은 가격의 센서를 사용하지 않기 때문에 중저가의 로봇을 제공할 수 있는 기초가 된다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예를 구체적으로 설명한다.
도1은 로봇의 일반적인 구성을 나타내는 개략적인 모식도이다.
도1에 도시되 바와 같이, 일반적인 서비스 로봇은 센서부(1), 구동부(2), 메모리(3) 및 제어부(4) 정도로 대별할 수 있다.
센서부(1)는 주변의 상황들을 인지하기 위한 수단으로서, 온도, 압력, 가스, 열 등을 감지하기 위한 센서 또는 주변의 영상을 획득하기 위한 비전 센서, 적외선 센서 등을 포함할 수 있다. 실제 어떠한 센서를 장착하고 이용할 것인지는 로봇의 제작자가 로봇의 용도에 따라 취사 선택할 부분이다. 다만, 본 발명의 실시예에서 는 주변의 영상을 획득하기 위한 카메라를 필수적으로 포함하며, 그 밖의 용도의 센서는 취사 선택 가능하다.
구동부(2)는 로봇의 팔, 다리, 관절, 혹은 바퀴 등을 포함하고, 또한 이들을 이동시키기 위한 모터, 기어 등을 포함한 메카니즘을 포함한다. 이 또한, 로봇의 용도 또는 목적에 따라 취사 선택할 수 있는 부분임은 자명하다.
메모리(3)는 정보의 저장을 위해 필수적이다. 후술하는 바와 같이, 본 발명에서 메모리(3)는 적어도 공간적 의미정보를 기초로 구축된 지도 데이터베이스를 저장하고, 또한 로봇이 촬영한 이미지를 임시 저장하기 위한 버퍼 기능을 수행한다.
제어부(4)는 센서부(1)로부터 수집된 정보를 분석하고, 행동을 결정한 후 구동부(2)를 제어하여 행동을 수행하기 위한 것으로, 사람의 뇌에 해당하는 부분이다.
센서부(1), 구동부(2), 메모리(3) 및 제어부(4)로 대별되는 로봇의 일반적인 구성이 실제 어떠한 부품들로 실현될 수 있는지는 주지된 것이므로, 본 명세서에서는 이에 대해 자세한 언급은 하지 않도록 한다.
본 발명은 주변을 촬영한 영상으로부터 주어진 공간의 지도를 구축하고, 이 지도를 근간으로 자기위치를 추정하는 방법 내지 알고리즘에 관한 것이므로, 주변 영상을 촬영하기 위한 이미지 센서와 메모리(3), 제어부(4)를 필수적으로 구비한 것을 전제로 하며, 그 밖의 다른 구성요소는 생략이 가능하다는 것에 주의한다.
도2는 본 발명의 실시예에 따른 로봇의 자기위치 추정 방법 중 주어진 공간 에 대한 지도 데이터베이스를 구축하는 방법을 나타내는 순서도로서, 로봇이 주어진 공간 예컨대, 연구실, 집안 등의 곳곳을 다니며 지도 정보를 수집하는 절차를 설명한다.
본 발명의 실시예에 대한 이해를 돕기 위해 로봇의 주변 상황이 도3과 같다고 가정하도록 한다. 즉, 로봇은 초기에 P0에 위치하고 있고, 그 전방에는 3개의 물체 O1, O2, O3가 위치하고 있다. 도4는 P0의 위치에서 로봇의 카메라에서 촬영된 영상을 나타낸다.
도2 및 도3을 참조하면, 먼저 로봇은 P0의 위치에서 카메라로 주변을 촬영하고 주변영상에 나타난 물체들을 식별한다(S1). 즉, 로봇은 도4에 도시된 바와 같은 주변영상에서 3개의 물체 O1, O2, O3를 구별하고, 이들 물건에 대한 식별을 수행하게 될 것이다.
물체를 식별하는 방법으로는 여러 가지가 공지되어 있다. 예를 들어, 특징점으로서 SIFT를 이용하는 방법, 컬러 히스토그램을 이용하는 방법, 컬러 동시발생 히스토그램을 이용하는 방법 등이 주지되어 있고, 따라서 이에 대한 구체적인 설명은 생략하도록 한다.
다음, 카메라로부터 식별된 물체들 O1, O2, O3 각각에 이르는 거리를 산출한다(S2).
물체까지의 거리를 산출하기 위해서는, 비교 내지 참조할 수 있는 참조 거리 및 크기 정보가 필요할 수 있다. 예컨대, 1미터 거리에서 물체를 찍은 참조 영상을 미리 저장한 후, 해당하는 물체가 식별되면 물체의 크기를 상호 비교하여 그 비율에 따라 물체까지의 거리를 산출하는 것이 가능하다.
여기서, 물체의 크기는 전체 크기가 아닌 특징점으로 삼을 수 있는 3~4개의 점을 기준으로 하고, 이들 특징점들 사이의 거리를 비교함으로써 그 비율에 따른 주변영상에 찍힌 물체까지의 거리를 산출할 수도 있다. 이러한 방법을 택할 때, 물체의 일부가 가려져 있는 경우에도 물체까지의 거리 산출이 가능하다.
물체 각각에 이르는 거리가 산출되면, 이 거리를 원근을 표현하는 일반적인 공간적 의미정보 또는 다른 표현으로 개별 거리등급으로 변환한다(S3). 즉, 촬영된 책상이 약 4미터 전방에 위치하고 있을 때, 책상과의 거리를 "가깝다"라고 변환하는 것이다.
로봇에는 개별 거리등급을 일정한 범위에 매칭하도록 미리 저장된다. 예를 들어, 가정의 실내에서 1미터 미만의 거리는 "매우 가깝다"로, 1~5 미터 거리는 "가깝다"로, 5~10미터 거리는 "멀다"로, 10미터 이상의 거리는 "매우 멀다"로 변환하는 것이 가능하다.
Figure 112008073385109-PAT00002
일단, 책상까지의 측정된 거리가 4 미터로서 "가깝다"로 변환되면, 로봇은 현재의 위치에 대해 '책상에서 가까운 위치'로 기억하는 것이다. 로봇에게 현위치에서 책상까지의 거리는 더 이상 4 미터로 기억되는 것이 아니라 가까운 거리로 기억되는 것이다. 굳이 정확한 거리가 필요로 된다면, 사람과 같이 흡사, 가까운 거리로 받아들여지는 수치가 사용되는데, 예컨대 1~5 미터 정도의 범위를 두고, 이를 대표하는 중간값인 3 미터를 대표값으로 사용하거나, 그 3 미터를 평균으로 하는 확률적 분포를 수치데이터로 대신하는 것이 가능하다.
개별 거리등급은 로봇이 활동하는 "공간"에 의존적이고, 그 등급에 대한 거리 범위는 미리 결정되어 저장된다. 또한, 이에 더하여, 개별 거리등급은 로봇이 활동하는 "공간"과 더불어 "물건의 종류"에 따라 바뀔 수도 있다. 특히, 후술하는 바와 같이, 물체와 물체 사이의 상대 각도등급은 "물건의 종류"에 의존성을 가지도록 정해지는 것이 바람직하다.
다음, 주변영상에 나타난 물체가 다수인 경우, 물체들 사이의 상대적인 각도를 측정한다(S4). 물체들 각각에 대한 개별 거리등급을 부여한 것과 같이. 카메라를 중심으로 물체들이 이루는 각도는 물체들 사이의 상대 각도등급으로 변환된다(S5). 즉, 이 상대적인 각도는 2차원적으로 볼 때, 물체의 좌측 또는 우측으로 "매우 가깝게", "가깝게", "멀리", "아주 멀리" 있는 것으로 변환되는 것이 가능하다.
예를 들어, 카메라를 중심으로 의자와 냉장고의 각도가 10도로 측정될 때, 냉장고는 의자의 우측 가까이에 있다고 변환되고, -10도로 측정될 때 냉장고가 의자의 좌측 가까이에 있다고 변환될 수 있다.
따라서, 물체와 물체가 이루는 각도는 예컨대 5도 미만은 "매우 가깝다"로, 5~30도는 "가깝다"로, 30~70도는 "멀다"로, 70도 이상은 "매우 멀다"로 정의하는 것이 가능하다.
Figure 112008073385109-PAT00003
물체와 물체 사이의 상대 각도등급을 더 정확하게 하려면, 카메라로부터 물체까지의 거리를 함께 고려하는 것이 바람직하다.
물체 사이의 각도가 5도라고 하더라도, 하나의 물체는 카메라 2 미터 전방에 위치하고, 다른 물체는 10 미터 전방에 위치하고 있다면 두 물체의 사이의 거리는 멀다라고 환산되는 것이 바람직할 것이다.
이 경우, 더욱 정확하게는 두 물체와 카메라가 이루는 각도와 카메라로부터 물체까지 이르는 거리를 이용하여 예컨대, 삼각 함수의 관계 등을 이용하여 두 물체 사이의 정확한 거리를 산출하는 것이 가능하다.
그러나, 사람도 조명이 어둡거나 물체까지의 거리가 불분명할 때 물체들이 사이의 개략적인 각도에 기초하여 물체 사이의 거리를 예측하기도 하는 것과 같이, 본 발명의 실시예에서 상대 각도등급은 카메라를 중심으로 물체들이 이루는 각도를 기본으로 한다. 다만, 본 발명은 여기에 한정되는 것이 아니며, 선택적 혹은 추가 적으로 개별적인 거리 정보를 함께 적용하는 것을 포함한다.
지금까지 산출한 식별된 물체에 대한 정보, 카메라로부터 물체에 이르는 개별 거리등급, 및 물체들 사이의 상대 각도등급으로 현재 분석된 주변영상의 촬영 위치를 정의한다(S6).
도3 및 도4와 같은 상황이라면 예컨대, 다음 표와 같이 위치 P0을 정의할 수 있다:
Figure 112008073385109-PAT00004
이 표에 사용된 용어가 갖는 의미를 설명하면 다음과 같다:
위치 "P0"는 주변영상 "0 프레임"으로부터 얻은 공간적 의미정보들로 정의되고, 다시 공간적 의미정보는 "distance" 또는 "bearing"의 형식으로 정의된다.
"distance"는 단일 물체에 대한 개별 거리등급을 나타내기 위한 것으로, 예컨대, "distance(O1,nearby)"는 "카메라로부터 물체 'O1'까지의 거리는 매우 가깝다"라는 것을 나타낸다.
"bearing"은 두 개의 물체들 사이의 상대 각도등급을 나타내기 위한 것으로, 예컨대, "bearing(O1,O2,right near)"는 "물체 '01'의 우측 가까운 곳에 물체 'O2'가 위치한다"라는 것을 나타낸다.
상기 표는 0 프레임으로부터 3개의 물체가 식별된 것과, 3개의 물체에 대한 개별 거리등급, 그리고 3개의 물체 상호간 상대 각도등급으로 위치 P0를 정의하고 있다.
더 많은 위치를 정의하기 위해, 로봇이 도5에 도시된 바와 같이 일정한 거리만큼 이동하여 P1 위치에 도달한 후 도6에 도시한 바와 같은 주변 영상을 획득한다.
P1 위치에서 촬영된 도6의 영상을 통해 다음과 같은 공간적 의미정보를 정의할 수 있다:
Figure 112008073385109-PAT00005
이상과 같은 S1~S6 단계들은 로봇의 위치를 이동하면서 반복 수행된다(S7,S8). 주어진 공간에 대한 지도 완성이 완료되면, 이들 정보가 지도 데이터베이스로서 저장되어 지도 데이터베이스 구축 절차를 종료한다.
각각의 위치들을 정의하기 위해 지도 데이터베이스에서 이용된 공간적 의미정보는 사람의 의식 체계와 유사하기 때문에 사람과의 상호작용에 유용하게 이용될 수 있다.
다음으로, 본 발명의 실시예에 따라, 도2의 순서도에 나타난 절차로 완성된 지도 데이터베이스를 기초로 로봇의 위치를 추정하는 방법에 대해 설명하도록 한다.
도7은 본 발명의 실시예에 따라 지도 데이터베이스를 기초로 로봇이 자기위치를 추정하는 방법을 나타내는 순서도이다.
먼저, 로봇은 현재 위치에서 촬영된 영상(이하, "탐색 영상"이라 한다)을 메모리에 저장한다(T1).
다음으로, 탐색 영상에 나타난 공간정보 예컨대, 영상에 잡힌 물체의 식별정보, 물체까지의 거리, 물체들 사이의 각도를 추출한다(T1,T2,T3). 물체의 식별 방법, 거리 산출, 각도 산출 등은 전술한 지도 작성에서와 동일한 방식으로 수행될 수 있다.
다음으로, 탐색 영상에 나타난 공간정보와 지도 데이터베이스에 저장된 위치들에 대한 공간정보의 유사한 정도를 수치화한다(T4).
본 발명의 실시예에 따라, 상기 유사도는 다음과 같은 수식에 따른다:
<수식 1>
Figure 112008073385109-PAT00006
여기에서, i,j는 탐색 영상에 나타난 물체를 구별하기 위한 인덱스, N은 검출된 물체의 개수, de는 탐색 영상내 물체까지 산출된 거리, dr은 지도 데이터베이스에 기 저장된 물체까지의 거리에 대응하는 대표값, we는 탐색 영상내 물체들 사이 의 각도 데이터, wr은 각도 데이터에 대응하여 산출된 물체간 상대 각도등급의 대표값이다. 이때 주의할 것은, 상기 유사도 관련 수식은 지도 데이터베이스에 저장된 위치들 중 하나의 위치에 대한 것이라는 것이다.
예컨대, "P0"에 대해 유사도를 구하는 경우라면, dri는 물체들 O1, O2, O3의 개별 거리등급에 대한 대표값을 나타내며, wij는 물체들 O1, O2, O3 상호간의 상대 각도등급에 대한 대표값을 나타낸다. N은 탐색 영상에서 검출된 물체의 개수를 나타내지만, "P0"에 대해 정의된 공간적 의미정보에는 3개의 물체만 있으므로, 상기 유사도는 최대 3개의 물체에 대해서만 적용될 것이다.
상기 유사도 검출에 이용된 수식은 가우션 분포의 지수함수에 기초한 것으로, 앞에 있는 지수함수가 거리에 대한 것이고, 뒤에 있는 지수함수는 각도에 대한 것이다.
주의할 것은, 상기 유사도는 상기 수식 이외에 다른 방법으로도 평가 및 수치화하는 것이 가능하다는 것이다.
예를 들어, 탐색 영상에 나타난 공간정보를 지도 데이터베이스에 저장된 위치들의 공간적 의미정보와 비교하는 방법으로, 수치 데이터들의 차를 더한 값을 이용하거나, rms(root mean squre)를 합산하는 방식으로 유사도를 수치화하는 것이 가능하다. 따라서, 본 발명은 상기 수식에 한정되는 것은 아니다.
다음으로, 로봇의 제어부는 수치화된 유사도에 기초하여 로봇의 위치를 추정한다(T5). 유사도가 가장 큰 위치 혹은 그 주변에 로봇이 위치할 확률이 가장 높 다. 그러므로, 로봇은 가장 높은 유사도를 나타내는 위치를 자기위치로 추정하는 것이 가장 합리적이다.
다만, 로봇이 이동하면서 탐색 영상은 계속해서 입력될 것이므로, 이전 탐색 영상들로부터 얻은 로봇의 위치 추정 확률 정보를 활용하는 것이 효과적일 것이다.
예를 들어, 로봇이 임의의 위치에 존재할 확률 P(sk)은 수치화된 유사도 예컨대, <수식 1>의 확률과 종전 탐색 영상에서 추정된 물체의 위치 확률 등을 고려한 다음과 같은 모델로 결정될 수 있다:
<수식 2>
Figure 112008073385109-PAT00007
여기에서, sk는 로봇의 위치에 대한 변수이고, k-1은 자기위치 추정에서의 이전 상태, k는 자기위치 추정에서의 현재 상태를 나타내는 인덱스이다. uk - 1은 로봇의 이전 상태로부터의 이동 또는 동작을 나타내고, Np는 이전 상태에서 로봇의 이동에 의해 현재 위치로 이를 수 있는 위치의 개수이다. P(ck)는 <수식 1>에 나타난 유사도로서 sk 위치에 대한 공간적 의미정보와 탐색 영상의 공간정보의 유사도를 나타낸다.
<수식 2>는 현재의 위치가 sk일 확률이 sk에서의 유사도 및 그 이전 상태에 서 sk로 이동할 수 있는 확률의 곱에 비례한다는 것을 나타내는 것이며, 그러므로 로봇은 <수식 2>의 우측항의 결과를 기초로 자기위치의 추정을 수행할 수 있는 것이다.
전술한 바와 같이, 유사도가 확률적으로 표현되지 않는 경우가 존재할 수 있으나, 이 경우에도 <수식 2>와 같은 비례 관계가 가능하므로 P(ck)를 대신하는 것이 또한 가능하다는 주의한다.
이상과 같이, 로봇은 유사도를 기반으로, 또한 재귀적인 베이시안 확률 모델을 적용하여 로봇은 최종적으로 자기위치를 추정할 수 있다.
이하에서는, 본 발명의 실시예에 따라 수행된 영상 화면과 로봇이 재귀적으로 자기위치로 추정하는 과정을 통해 그 위치추정의 정확도가 향상되는 과정을 도8~14를 참조하여 설명하도록 한다.
도8은 본 발명의 실시예에 따라 구해진 지도 데이터베이스를 확률적인 분포로서 표현한 것이다. 즉, 도8의 외곽 실선들은 레이저 스캔을 통해 구한 실제 지도이고, 그 안에 위치한 점들은 정의된 로봇의 위치로서 초기에 상기 모든 점들에 대해 로봇이 위치할 확률은 균등하다는 것을 나타내고 있다.
도9는 좌측으로부터 우측으로 3개의 탐색 영상을 통해 로봇이 추정하는 자기 위치의 확률적 추이를 보여준다.
즉, 좌측의 첫번째 탐색 영상에서 로봇은 일정 임계치 이상의 유사도를 나타내는 위치들을 결정하였고, 그 결과를 확인하기 위해, 이 위치들을 빨간색 점으로 표현한 것이다.
가운데 탐색 영상은 첫번째 탐색 영상 이후 로봇이 이동하여 촬영된 것이다. 두번째 탐색 영상의 공간정보에 대한 유사도 및 첫번째 탐색 결과를 기반으로 <수식 2>의 결과를 구하고, 결정된 <수식 2>의 결과에 따라, 일정 임계치 이상의 결과를 나타내는 위치들을 빨간색 점으로 표현한 것이다.
세번째 탐색 영상 및 그에 따른 자기위치 추정 그래프도 같은 과정을 통해 구해졌다. 이 영상들에서 이동 및 탐색 영상 촬영이 거듭 될수록 추정 위치가 수렴해가는 것을 확인할 수 있다.
도10 내지 도13은 본 발명의 실험 결과 화면으로 특징적인 변화를 보이는 A,B,C,D 위치에서의 의미론적 위치 추정에 대한 결과와 이때 입력되고 있는 탐색 영상을 보여주고 있다. 보라색 선은 로봇의 실제 이동 궤적을 나타내는 것이고, 레이저 스캐너에 의한 정답 결과로서 작은 원은 로봇이 있는 위치이다. 파란색 선은 로봇의 실제 이동 궤적을 표현한 것이다. 로봇이 있는 위치는 빨간색 점들로 표현되는 확률 분포를 따르게 된다.
A의 경우 근접 거리에 물체가 나타남으로써 로봇 위치에 대한 분포가 잘 모여진 모습을 보이며, B의 경우 회전하면서 검출된 물체가 없기 때문에 로봇 위치에 대한 분포가 다시 넓어지게 된다. C의 경우 원거리에 물체가 존재함으로써 공간적 의미정보에 대한 오류가 넓어짐으로 로봇 위치에 대한 오류가 커지고 분포도 넓어짐을 보이게 되지만, D에서 볼 수 있듯이 공간적 의미 정보가 축적되고 정확해짐에 따라 로봇 위치에 대한 오류가 줄어들고 확률 분포가 줄어들고 있음을 확인할 수 있다.
도14는 지금까지 설명된 A,B,C,D 위치에서의 에러 그래프이다.
로봇이 자기위치를 추정함에 있어, 본 발명은 수치 데이터 대신 공간적 의미정보 및 확률적 모델을 이용함으로써 실제 위치에 대한 에러를 내포할 수 있는 단점이 있으나, 재귀적 베이시안 확률 모델을 통해 위치의 정확도가 증가될 수 있다.
비록 지금까지 본 발명의 몇몇 실시예들이 도시되고 설명되었지만, 본 발명이 속하는 기술분야의 통상의 지식을 가진 당업자라면 본 발명의 원칙이나 정신에서 벗어나지 않으면서 본 실시예를 변형할 수 있음을 알 수 있을 것이다. 발명의 범위는 첨부된 청구항과 그 균등물에 의해 정해질 것이다.
도1은 로봇의 일반적인 구성을 나타내는 개략적인 모식도;
도2는 본 발명의 실시예에 따른 로봇의 자기위치 추정 방법 중 주어진 공간에 대한 지도 데이터베이스를 구축하는 방법을 나타내는 순서도;
도3은 본 발명의 실시예에 따른 로봇의 주변 상황을 개략적으로 표현한 모식도;
도4는 P0의 위치에서 로봇의 카메라에서 촬영된 영상;
도5는 로봇의 이동에 따른 주변의 변화를 나타내는 모식도;
도6은 로봇이 이동한 후 촬영된 탐색 영상을 나타낸 모식도;
도7은 본 발명의 실시예에 따라 지도 데이터베이스를 기초로 로봇이 자기위치를 추정하는 방법을 나타내는 순서도;
도8은 본 발명의 실시예에 따라 구해진 지도 데이터베이스를 확률적인 분포로서 표현한 도면;
도9는 좌측으로부터 우측으로 3개의 탐색 영상을 통해 로봇이 추정하는 자기 위치의 확률적 추이를 나타내는 도면;
도10 내지 도13은 본 발명의 실험 결과 화면으로 특징적인 변화를 보이는 A,B,C,D 위치에서의 의미론적 위치 추정에 대한 결과와 이때 입력되고 있는 탐색 영상을 나타내는 도면;
도14는 도10 내지 도13에 나타난 A,B,C,D 위치에서의 에러 그래프이다.

Claims (8)

  1. 주어진 공간에서 로봇이 자기위치를 추정하는 방법에 있어서,
    (a) 카메라로 촬영한 주변영상에 나타난 물체를 식별하는 단계;
    (b) 상기 식별된 물체까지의 거리를 산출하고, 산출된 거리의 크기에 따라 원근의 정도를 나타내는 개별 거리등급을 부여하는 단계;
    (c) 상기 주변영상에 나타난 물체가 다수일 때, 상기 카메라를 기준으로 물체간의 상대적인 각도를 측정하여 상대 각도등급을 부여하는 단계;
    (d) 상기 식별된 물체의 정보, 상기 개별 거리등급 및 상기 상대 각도등급을 포함하는 공간적 의미정보를 기초로 상기 주변영상의 촬영 위치를 정의하는 단계;
    (e) 상기 로봇의 위치를 변경하면서 상기 (a) 내지 (d) 단계를 반복하여, 상기 로봇의 위치들을 정의하는 지도 데이터베이스를 구축하는 단계; 및
    (f) 상기 지도 데이터베이스에 저장된 상기 공간적 의미정보와, 상기 로봇의 카메라로부터 획득한 탐색 영상의 공간적 의미정보를 비교하여 상기 로봇의 위치를 추정하는 단계를 포함하는 것을 특징으로 하는 로봇의 자기위치 추정 방법.
  2. 제1항에 있어서,
    상기 개별 거리등급과 상기 상대 각도등급은 각각의 등급에 대응하는 대표값을 가지며,
    상기 (f)단계는,
    상기 지도 데이터베이스에 저장된 상기 로봇의 위치들에 대한 상기 식별된 물체의 정보에 대응하는 상기 대표값과 상기 탐색 영상의 공간적 의미정보의 유사도를 산출하는 단계; 및
    상기 유사도에 기초하여 상기 탐색 영상을 촬영한 위치를 추정하는 단계를 포함하는 것을 특징으로 하는 로봇의 자기위치 추정 방법.
  3. 제2항에 있어서,
    상기 유사도는 다음과 같은 수식에 의해 결정되는 것을 특징으로 하는 로봇의 위치 추정 방법:
    Figure 112008073385109-PAT00008
    (i,j는 탐색 영상에 나타난 물체를 구별하기 위한 인덱스, N은 검출된 물체의 개수, de는 탐색 영상내 물체까지 산출된 거리, dr은 지도 데이터베이스에 기 저장된 물체까지의 거리에 대응하는 대표값, we는 탐색 영상내 물체들 사이의 각도 데이터, wr은 각도 데이터에 대응하여 산출된 물체간 상대 각도등급의 대표값).
  4. 제한된 공간에서 로봇이 자기위치를 추정하는 방법에 있어서,
    상기 로봇의 위치를 변경하면서, 상기 로봇이 촬영한 영상 내의 공간정보를 상기 로봇의 위치를 나타내는 고유정보로 정의하고 지도 데이터베이스로 저장하는 단계;
    상기 로봇이 탐색 영상을 촬영, 획득하는 단계;
    상기 로봇의 탐색 영상에 나타난 공간정보와 상기 지도 데이터베이스에 저장된 공간정보의 유사도를 수치화하는 단계; 및
    상기 수치화된 유사도에 기초하여 상기 탐색 영상을 획득할 때의 로봇의 위치를 추정하는 단계를 포함하고,
    상기 공간정보는 영상에 나타난 물체의 식별정보, 식별된 물체까지의 개별 거리, 및 영상에 나타난 물체들 사이의 각도에 대한 정보를 포함하는 것을 특징으로 하는 로봇의 자기위치 추정 방법.
  5. 제4항에 있어서,
    상기 식별된 물체까지의 거리는 "매우 가깝다", "가깝다", "멀다", "매우 멀다" 중 하나의 공간적 의미정보로 평가되어 상기 지도 데이터베이스에 저장되는 것을 특징으로 하는 로봇의 자기위치 추정방법.
  6. 제4항에 있어서,
    상기 물체들 사이의 각도는 "좌측으로 매우 가깝다", "좌측으로 가깝다", "좌측으로 멀다", "좌측으로 매우 멀다", "우측으로 매우 가깝다", "우측으로 가깝다", "우측으로 멀다", 및 "우측으로 매우 멀다" 중 하나의 공간적 의미정보로 평가되어 상기 지도 데이터베이스에 저장되는 것을 특징으로 하는 로봇의 자기위치 추정방법.
  7. 제5항 또는 제6항에 있어서,
    상기 공간적 의미정보는 하나의 대표값을 가지고,
    상기 유사도는 상기 대표값을 기초로 산출되는 것을 특징으로 하는 로봇의 자기위치 추정방법.
  8. 제4항에 있어서,
    상기 수치화된 유사도에 기초하여 상기 탐색 영상을 획득할 때의 로봇의 위치를 추정하는 단계는,
    상기 탐색 영상을 획득하기 이전의 위치에서 추정된 로봇의 위치로부터, 상기 유사도가 산출되는 위치로 이동하게 될 확률을 상기 유사도에 곱하여 로봇의 최종적인 자기위치를 추정하는 단계를 포함하는 것을 특징으로 하는 로봇의 자기위치 추정방법.
KR1020080103769A 2008-04-28 2008-10-22 물체의 공간적 의미정보를 이용한 로봇의 자기위치 추정 방법 KR100998709B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020080039259 2008-04-28
KR20080039259 2008-04-28

Publications (2)

Publication Number Publication Date
KR20090113746A true KR20090113746A (ko) 2009-11-02
KR100998709B1 KR100998709B1 (ko) 2010-12-07

Family

ID=41555035

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080103769A KR100998709B1 (ko) 2008-04-28 2008-10-22 물체의 공간적 의미정보를 이용한 로봇의 자기위치 추정 방법

Country Status (1)

Country Link
KR (1) KR100998709B1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015122658A1 (ko) * 2014-02-13 2015-08-20 영남대학교 산학협력단 비전 센서 데이터베이스를 이용한 거리 측정 방법
CN108908327A (zh) * 2018-04-25 2018-11-30 成都飞机工业（集团）有限责任公司 一种机器人定位误差分级补偿方法
US20210197378A1 (en) * 2019-12-27 2021-07-01 X Development Llc Offline robot planning with online adaptation
KR20220098053A (ko) * 2013-04-08 2022-07-08 스냅 아이엔씨 멀티-카메라 장치를 사용하는 거리 추정

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101508860B1 (ko) 2013-12-31 2015-04-07 고려대학교 산학협력단 레이저 거리 센서에 의해 측정된 측정 거리의 거리 유형을 평가하는 방법 및 이를 이용한 이동 로봇의 위치 추정 방법

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100823739B1 (ko) * 2006-12-08 2008-04-21 한국전자통신연구원 주변 환경 변화에 신속하게 적응하여 환경 지도를 작성할수 있는 이동체의 환경 지도 작성 장치 및 그 방법

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220098053A (ko) * 2013-04-08 2022-07-08 스냅 아이엔씨 멀티-카메라 장치를 사용하는 거리 추정
WO2015122658A1 (ko) * 2014-02-13 2015-08-20 영남대학교 산학협력단 비전 센서 데이터베이스를 이용한 거리 측정 방법
CN108908327A (zh) * 2018-04-25 2018-11-30 成都飞机工业（集团）有限责任公司 一种机器人定位误差分级补偿方法
CN108908327B (zh) * 2018-04-25 2021-09-07 成都飞机工业（集团）有限责任公司 一种机器人定位误差分级补偿方法
US20210197378A1 (en) * 2019-12-27 2021-07-01 X Development Llc Offline robot planning with online adaptation

Also Published As

Publication number Publication date
KR100998709B1 (ko) 2010-12-07

Similar Documents

Publication Publication Date Title
CN109074085B (zh) 一种自主定位和地图建立方法、装置和机器人
KR100493159B1 (ko) 이동체의 효율적 자기 위치 인식을 위한 랜드마크 및 이를이용한 자기 위치 인식 장치 및 방법
JP4978099B2 (ja) 自己位置推定装置
US11062475B2 (en) Location estimating apparatus and method, learning apparatus and method, and computer program products
KR101380628B1 (ko) 복수의 카메라를 사용한 객체 추적 방법 및 장치
KR100998709B1 (ko) 물체의 공간적 의미정보를 이용한 로봇의 자기위치 추정 방법
US11748998B1 (en) Three-dimensional object estimation using two-dimensional annotations
CN110853085B (zh) 基于语义slam的建图方法和装置及电子设备
CN111274862A (zh) 用于产生车辆的周围环境的标签对象的设备和方法
CN110992424B (zh) 基于双目视觉的定位方法和系统
JP6349272B2 (ja) 移動物体追跡装置
JP2006090957A (ja) 移動体の周囲物体検出装置及び移動体の周囲物体検出方法
CN104182747A (zh) 基于多个立体相机的对象检测跟踪方法及装置
CN112446905B (zh) 基于多自由度传感关联的三维实时全景监控方法
JP6982865B2 (ja) 動画像距離算出装置および動画像距離算出用プログラム
JP2017167974A (ja) 推定装置、方法及びプログラム
CN113160280A (zh) 一种基于激光雷达的动态多目标跟踪方法
CN110864670B (zh) 目标障碍物位置的获取方法和系统
JP2018124177A (ja) 床面判断方法
KR101134316B1 (ko) 물체의 공간적 의미정보를 이용한 로봇의 능동적 자기위치 추정 방법
JP2006172016A (ja) 移動ロボット、移動ロボット制御方法および移動ロボット制御プログラム
CN114090908A (zh) 一种路网数据的处理方法和装置
Choi et al. Autonomous homing based on laser-camera fusion system
KR20210030136A (ko) 차량 데이터 생성 장치 및 방법, 그리고 시스템
WO2022130618A1 (ja) 位置・姿勢推定装置、位置・姿勢推定方法、及びプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20131008

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20140923

Year of fee payment: 5

LAPS Lapse due to unpaid annual fee