KR101456172B1 - 이동로봇의 위치인식 장치, 방법 및 이동로봇 - Google Patents

이동로봇의 위치인식 장치, 방법 및 이동로봇 Download PDF

Info

Publication number
KR101456172B1
KR101456172B1 KR1020130089728A KR20130089728A KR101456172B1 KR 101456172 B1 KR101456172 B1 KR 101456172B1 KR 1020130089728 A KR1020130089728 A KR 1020130089728A KR 20130089728 A KR20130089728 A KR 20130089728A KR 101456172 B1 KR101456172 B1 KR 101456172B1
Authority
KR
South Korea
Prior art keywords
feature point
feature points
unit
selecting
mobile robot
Prior art date
Application number
KR1020130089728A
Other languages
English (en)
Inventor
김학일
이재홍
최학남
김형래
이승준
Original Assignee
인하대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인하대학교 산학협력단 filed Critical 인하대학교 산학협력단
Priority to KR1020130089728A priority Critical patent/KR101456172B1/ko
Application granted granted Critical
Publication of KR101456172B1 publication Critical patent/KR101456172B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B25J13/088—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices with position, velocity or acceleration sensors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/04—Viewing devices
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39045—Camera on end effector detects reference pattern
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S901/00—Robots
    • Y10S901/01—Mobile robot

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Electromagnetism (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Robotics (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Human Computer Interaction (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Image Analysis (AREA)

Abstract

이미지 신호를 수신하는 카메라부, 상기 이미지 신호의 특징점들을 파악하고 선정하는 특징점 추출부, 로봇이 주행하게 될 경로 상에서 획득 가능한 실제 랜드마크의 위치 및 이미지 탬플릿 정보가 저장되어있는 저장부, 상기 후보특징점의 정확도를 향상시키는 특징점 선정부, 상기 특징점 선정부와 저장부의 정보들을 비교하여 해당되는 특징점을 매칭시키는 특징점 매칭부, 매칭된 최적 특징점으로 인해 파악된 랜드마크의 중심 좌표로부터 카메라까지의 벡터를 구하고 이동로봇의 현재위치를 판단하는 위치 판단부를 포함할 수 있다.

Description

이동로봇의 위치인식 장치, 방법 및 이동로봇 {Localization of a mobile robot device, method and mobile robot}
본 발명은 이동로봇의 로봇 항법기술 중 위치인식에 관한 것으로, 보다 상세하게는 단일 카메라를 이용한 특징점 매칭 기반의 이동로봇의 위치인식 장치, 방법 및 이동로봇에 관한 것입니다.
최근 서비스 로봇은 공공 장소뿐만 아니라 가정에도 널리 보급되어 사람들에게 더욱 친근하게 다가가고 있다. 이렇게 로봇이 급속히 퍼질 수 있는 이유로 로봇이 자율주행과 지능은 지닌다는 점을 꼽을 수 있다 특히 로봇항법 기술은 로봇의 자율 주행에 지능을 더한 핵심 기술로 꾸준히 연구되어 왔다.
로봇항법 기술은 기하학적 모델 또는 위상 기하학적 모델을 이용한다. 기하학을 이용하는 방법의 경우 카메라 모델과 관측 대상의 기하학적 관계를 통해 로봇의 움직임과 위치를 파악한다.
인공 랜드마크를 사용하면 카메라뿐 아니라 다른 센서들을 통해 관측대상에 대한 정보를 얻어올 수 있다. 인공 랜드마크를 사용한 연구로는 천장에 부착된 이미지 패치를 인식하고 위치를 인식하는 방법이 소개되었다.
그러나 이러한 방법들은 특정한 조건을 만족하는 공간에 부착이 되어야 하고 마커생성에 비용이 든다는 단점이 있다.
또 다른 방법에서는 영상에서 얻어지는 수직, 수평선과 같은 자연 랜드마크를 사용한 위치인식 방법을 제안하였지만 기존의 방법들과 마찬가지로 장소의 제약을 받는 문제점이 있었다.
한국 출원공개 제 10-2011-0066714는 이동로봇의 위치인식에 관한 발명이나 적외선조명을 이용하여 인공랜드마크를 판단하는 발명인 점에서 본 발명과는 차이가 있다.
또한 한국 출원공개 제 10-2012-0108276은 인공랜드마크를 인식하고 인공랜드마크를 인식하지 못했을 경우 자연 랜드마크를 인식하는 방법으로 자연랜드마크를 인식하는 방법에 대해 기술되어 있으나 인식률이 떨어진다는 단점이 있다.
본 발명이 이루고자 하는 기술적인 과제는 로봇이 주행하게 될 경로 상에서 획득 가능한 랜드마크를 발견하여 특징점들을 인식하고 상기 인식된 특징점들의 정확도를 향상시킬 수 있는 이동로봇의 위치인식 장치, 방법 및 이동로봇을 제공하는데 목적이 있다.
본 발명이 이루고자 하는 또 다른 기술적인 과제는 인공랜드마크가 설치되지 못하는 공간에서도 인식가능한 자연랜드마크를 이용하는 이동로봇의 위치인식 장치, 방법 및 이동로봇을 제공하는데 목적이 있다.
본 발명이 이루고자 하는 또 다른 기술적인 과제는 한대의 카메라로 특징점의 판단을 정확하게 할 수 있는 이동로봇의 위치인식 장치, 방법 및 이동로봇을 제공하는데 목적이 있다.
이동로봇의 소정의 위치에 부착되어 이동경로의 영상을 촬영하는 카메라부, 이동로봇의 경로상 획득가능한 랜드마크의 정보가 저장되어 있는 저장부, 및 상기 카메라부에서 촬영된 영상 및 상기 저장된 랜드마크의 정보를 기초로 이동로봇의 현재위치를 판단하고 제어신호를 생성하는 제어부를 포함할 수 있다.
상기 제어부는, 상기 카메라부에서 촬영된 영상에서 특징점을 추출하는 특징점 추출부, 상기 추출된 특징점 및 상기 랜드마크의 정보에서 최적 특징점을 선택하는 매칭부,상기 선택된 최적 특징점을 기초로 이동로봇의 현재위치를 확인하는 위치 판단부, 및 상기 확인된 이동로봇의 현재위치를 기초로 상기 이동로봇의 위치를 이동시키기 위한 제어신호를 생성하는 이동제어부를 포함할 수 있다.
상기 특징점 추출부는, 상기 카메라부에 촬영된 영상에서 오알비(Oriented FAST and Rotated BRIEF) 알고리즘을 이용하여 특징점을 추출할 수 있다.
상기 매칭부는, 상기 랜드마크의 정보에서 1차 특징점 집합을 선정하고 상기 특징점에서 2차 특징점 집합을 선정하는 특징점 선정부, 및 상기 1차 특징점 집합과 상기 2차 특징점 집합을 비교하여 최적 특징점을 선정하는 특징점 매칭부를 포함할 수 있다.
상기 특징점 선정부는, 상기 특징점을 기초로 상기 랜드마크의 정보에서 1차 특징점 집합을 선정하는 1차 특징점 선정부, 상기 1차 특징점 집합에 포함된 랜드마크 특징점을 기초로 상기 특징점에서 2차 특징점 집합을 선정하는 2차 특징점 선정부, 및 상기 1차 특징점 집합 및 상기 2차 특징점 집합을 기초로 최적 특징점을 선정하는 최적 특징점 선정부를 포함할 수 있다.
상기 1차 특징점 선정부는, 상기 특징점을 기초로 케이근접이웃(k-NN) 알고리즘방법으로 2쌍의 1차 이웃특징점 집합들을 선정하고, 상기 선정된 1차 이웃특징점 집합들을 기초로 헤밍거리비교를 하여 필터링하고, 상기 필터링된 1차 이웃특징점 집합들을 기초로 비율테스트를 수행하여 상기 1차 특징점 집합을 선정할 수 있다.
상기 2차 특징점 선정부는, 상기 1차 특징점 집합에 포함된 랜드마크 특징점을 기초로 상기 특징점에서 케이근접이웃(k-NN) 알고리즘방법으로 2쌍의 2차 이웃특징점 집합들을 선정하고, 상기 선정된 2차 이웃특징점 집합들을 기초로 헤밍거리비교를 하여 필터링하고, 상기 필터링된 2차 이웃특징점 집합들을 기초로 비율테스트를 수행하여 상기 2차 특징점 집합을 선정할 수 있다.
상기 최적 특징점 추출부는, 상기 선정된 1차 특징점 집합 및 상기 선정된 2차 특징점을 비교하여 대칭성 테스트를 수행하고, 상기 대칭성 테스트를 통과한 특징점들을 란삭(RANSAC) 알고리즘을 이용하여 이상치를 제거하여 상기 최적 특징점을 선택하는 것을 특징으로 할 수 있다.
상기 위치 판단부는, 상기 이동로봇의 실제 위치를 보정하기 위한 상기 카메라부의 포즈정보를 이피앤피(EPnP) 방법으로 연산하고, 상기 최적 특징점으로 매칭된 실제 랜드마크의 중심 좌표로부터 상기 카메라부까지의 벡터를 산출하며 상기 벡터와 상기 카메라부의 포즈를 기초로 상기 이동로봇의 위치를 판단할 수 있다.
상기 랜드마크의 정보는, 이동로봇이 활동하는 환경에서 발견할 수 있는 랜드마크의 실제 이미지 탬플릿 정보일 수 있다.
이동로봇의 소정의 위치에 부착되어 이동경로의 영상을 촬영하는 단계, 및 상기 촬영된 영상 및 저장된 랜드마크의 정보를 기초로 이동로봇의 현재위치를 판단하고 제어신호를 생성하는 단계를 포함할 수 있다.
상기 제어신호를 생성하는 단계는, 상기 촬영된 영상에서 특징점을 추출하는 단계, 상기 추출된 특징점 및 상기 랜드마크의 정보에서 최적 특징점을 선택하는 단계, 및 상기 선택된 최적 특징점을 기초로 이동로봇의 현재위치를 판단하는 단계를 포함할 수 있다.
상기 특징점을 추출하는 단계는, 상기 영상을 촬영하는 단계에서 촬영된 영상을 오알비 (Oriented FAST and Rotated BRIEF) 알고리즘을 이용하여 특징점을 추출하는 단계를 포함할 수 있다.
상기 최적 특징점을 선택하는 단계는, 상기 랜드마크 정보에서 1차 특징점 집합을 선정하고 상기 특징점에서 2차 특징점 집합을 선정하는 단계, 및 상기 1차 특징점 집합과 상기 2차 특징점 집합을 비교하여 최적 특징점을 선택하는 단계를 포함할 수 있다.
상기 최적 특징점은, 상기 1차 특징점 집합에서 선택된 랜드마크 특징점, 상기 2차 특징점 집합에서 선택된 특징점을 포함할 수 있다.
상기 1차 특징점을 선정하는 단계는, 상기 특징점을 기초로 케이근접이웃(k-NN) 알고리즘방법으로 2쌍의 1차 이웃특징점 집합들을 선정하고, 상기 선정된 1차 이웃특징점 집합들을 기초로 헤밍거리비교를 하여 필터링하고, 상기 필터링된 1차 이웃특징점 집합들을 기초로 비율테스트를 수행하여 상기 1차 특징점 집합을 선정하는 단계를 포함할 수 있다.
상기 2차 특징점을 선정하는 단계는, 상기 1차 특징점 집합에 포함된 랜드마크 특징점을 기초로 상기 특징점에서 케이근접이웃(k-NN) 알고리즘방법으로 2쌍의 2차 이웃특징점 집합들을 선정하고, 상기 선정된 2차 이웃특징점 집합들을 기초로 헤밍거리비교를 하여 필터링하고, 상기 필터링된 2차 이웃특징점 집합들을 기초로 비율테스트를 거쳐 최적 특징점을 선정하는 단계를 포함할 수 있다.
상기 최적 특징점을 선택하는 단계는, 상기 선정된 2차 특징점을 기초로 대칭성 테스트를 수행하는 단계, 및 상기 대칭성 테스트를 통과한 2차 특징점을 란삭(RANSAC) 알고리즘을 이용하여 이상치를 제거하여 최적 특징점을 선택하는 단계를 포함할 수 있다.
상기 이동로봇의 현재위치를 판단하는 단계는, 상기 이동로봇의 실제 위치를 보정하기 위한 카메라의 포즈정보를 이피앤피(EPnP) 방법으로 연산하는 단계, 상기 선택된 최적 특징점으로 매칭된 실제 랜드마크의 중심 좌표로부터 상기 카메라까지의 벡터를 산출하는 단계, 및 상기 벡터와 상기 카메라의 포즈를 기초로 상기 이동로봇의 위치를 판단하는 단계를 포함할 수 있다.
이동로봇의 소정의 위치에 부착되어 이동경로의 영상을 촬영하는 카메라부, 이동로봇의 경로상 획득가능한 랜드마크의 정보가 저장되어 있는 저장부, 상기 카메라부에서 촬영된 영상 및 상기 저장된 랜드마크의 정보를 기초로 이동로봇의 현재위치를 판단하고 제어신호를 생성하는 제어부, 및 상기 제어신호를 기초로 구동되는 이동장치를 포함할 수 있다.
본 발명에 따른 이동로봇의 위치인식 장치, 방법 및 이동로봇에 따르면, 로봇이 주행하게 될 경로 상에서 획득 가능한 자연 랜드마크를 발견하여 특징점들을 인식하고 상기 인식된 특징점들의 정확도를 향상시켜 로봇의 현재 위치를 정확하게 인식할 수 있다.
인공랜드마크가 설치되지 못하는 천장이 높은 홀과 같은 공간에서도 따로 설치를 하지 않고 인식가능한 자연랜드마크를 이용하므로, 인공랜드마크 설치 비용 없이 이동로봇을 이용할 수 있다.
또한, 한대의 카메라로 특징점의 판단을 정확하게 할 수 있으므로 이동로봇의 소형화가 가능하고 이동로봇의 제작비용을 절감할 수 있다.
도 1은 본 발명의 일 실시 예에 따른 이동로봇의 위치인식 장치의 구성을 도시한 블록도이다.
도 2는 본 발명의 일 실시 예에 따른 이동로봇의 위치인식 장치의 제어부의 구성을 도시한 블록도이다.
도 3은 본 발명의 일 실시 예에 따른 이동로봇의 위치인식 장치의 매칭부의 구성을 도시한 블록도이다.
도 4는 본 발명의 일 실시 예에 따른 이동로봇의 위치인식 장치의 특징점 선정부의 구성을 도시한 블록도이다.
도 5는 본 발명의 일 실시 예에 따른 이동로봇의 위치인식 장치의 저장부의 구성을 도시한 블록도이다.
도 6는 본 발명의 일 실시예에 따른 이동로봇의 위치인식 방법의 수행과정을 도시한 순서도이다.
도 7는 본 발명의 일 실시 예에 따른 최적 특징점 선택 방법의 수행과정을 도시한 순서도이다.
도 8은 본 발명의 일 실시예에 따른 랜드마크 데이터베이스에 저장된 자연랜드마크의 예들을 나타내는 도면이다.
도 9은 본 발명의 일 실시예에 따른 촬영된 영상에서 추출된 특징점과 랜드마크 데이터베이스애 저장된 랜드마크와 매칭된 예를 보여주는 도면이다.
도 10는 본 발명의 일 실시예에 따른 이동로봇의 위치인식 장치에서 장애물에 가려진 랜드마크를 인식하는 과정을 보여주는 도면이다.
도 11은 본 발명의 일 실시예에 따른 이동로봇의 위치인식 장치의 에러율을 계산하기 위한 위치를 도식화한 도면이다.
도 12은 본 발명의 일 실시예에 따른 이동로봇의 위치인식 장치의 실험에서 실제 에러율의 평균을 랜드마크의 종류, 거리 및 각도에 따라 산출된 결과를 나타낸 표이다.
도 13(a), 13(b) 및 13(c)는 본 발명의 일 실시예에 따른 이동로봇의 위치인식 방법을 이용하여 랜드마크가 인식된 지점과 바퀴정보를 이용하여 위치를 인식하는 방법에 따라 이동된 속도에 따른 이동경로를 나타낸 도면이다.
도 14(a), 14(b) 및 14(c)는 본 발명의 일 실시예에 따른 이동로봇의 위치인식 방법과 바퀴정보를 이용하여 위치를 인식하는 방법으로 실제 경로에 따른 주행에서 주행횟수에 따른 오차거리를 속도에 따라 나타낸 그래프이다.
이하에서 첨부된 도면들을 참조하여 본 발명에 따른 단일 카메라를 이용한 이동로봇의 위치인식 방법 및 장치에 대해 상세하게 설명한다. 이때 도면에 도시되고 또 이것에 의해서 설명되는 본 발명의 구성과 작용은 적어도 하나의 실시예로서 설명되는 것이며, 이것에 의해서 본 발명의 기술적 사상과 그 핵심 구성 및 작용이 제한되지는 않는다.
본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 이는 당해 기술분야에 종사하는 기술자의 의도 또는 관례 또는 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 함을 밝혀두고자 한다.
도 1은 본 발명의 일 실시 예에 따른 이동로봇의 위치인식 장치를 도시한 블록도이다.
도 1을 참조하면, 이동로봇(1)은 위치인식장치(100) 및 이동장치(20)을 포함할 수 있다.
위치인식장치(100)은 이동로봇의 위치를 인식하고 저장된 데이터베이스와 비교하여 현재 위치를 알아내고 이동장치로 제어신호를 전달한다. 위치인식장치(100)는 카메라부(110), 제어부(120) 및 저장부(130)를 포함할 수 있다.
카메라부(110)는 측면에 부착된 단일 카메라를 통해 외부의 이미지를 포착하여 디지털 신호로 변환한다. 카메라부(110)는 CCD(Charge Coupled Device) 모듈이나 CMOS(Complementary Metal Oxide Semiconductor) 모듈을 포함할 수 있다. 카메라부(110)는 이동로봇이 주행하는 경로의 영상을 획득한다. 카메라부(110)는 외부의 이미지를 포착하여 디지털 신호로 변환할 수 있다.
제어부(120)는 상기 카메라부(110)에서 촬영된 영상을 기초로 특징점을 추출하고, 상기 추출된 특징점의 정확도를 향상시켜 최적 특징점을 추출한 뒤 입력된 데이터 베이스와 비교하여 이동로봇의 현재 위치를 알아낼 수 있다. 상기 알아낸 현재위치를 통해 제어신호를 생성할 수 있다.
저장부(130)는 본 발명의 일 실시예인 이동로봇의 위치인식 장치에서 이동로봇의 경로상에서 획득 가능한 랜드마크의 정보가 저장되어 있을 수 있다. 상기 획득 가능한 랜드마크로부터 실제 거리를 계산할 때 매칭된 특징점들을 기준으로 하므로 사각형일 필요는 없으나, 거리측정을 위해서 데이터 베이스로 저장하는 이미지 템플릿의 실제 크기는 알고 있어야한다.
이동장치(20)는 제어부(120)의 제어신호를 기초로 동작 될 수 있다.
도 2는 본 발명의 일 실시 예에 따른 이동로봇의 위치인식 장치의 제어부의 구성을 도시한 블록도이다.
도 2를 참조하면, 제어부(120)는 특징점 추출부(210), 매칭부(220), 위치판단부(230) 및 이동 제어부(240)을 포함할 수 있다.
특징점 추출부(210)는 카메라부(110)에서 촬영된 영상신호의 특징점들을 추출해 낼 수 있다. 상기 특징점들은 영상처리 알고리즘으로 추출될 수 있다. 상기 특징점추출을 위한 방법으로는 ORB(Oriented FAST and Rotated BRIEF) 알고리즘이 될 수 있다. 최근의 방법 중 하나인 ORB 알고리즘은 방향성을 추가시킨 FAST 알고리즘으로 특징점을 추출하고, 서술자는 바이너리 기반의 BRIEF에 회전불변성을 더하였다.
ORB 알고리즘에서의 특징점 추출방법은 먼저 FAST 알고리즘 처리를 한다. FAST알고리즘은 코너 후보픽셀 p로부터 반지름이 r 만큼 떨어진 원을 이루는 픽셀들을 테스트하여 코너를 추출한다. 16개의 픽셀이 원을 이룰 때, 이중 9개의 연속한 픽셀이 p의 밝기값 Ip와 임계값 t의 합보다 밝으면 코너로 판정할 수 있다. 밝기값의 차이로 단순 비교를 하기 때문에 고속으로 특징점을 추출하고 원하는 N 개의 키 포인트를 추출한다.
여기에 Harris 코너 측정값이 큰 순서로 정렬하기 위해 사용된 Intensity Centroid 방법은 이미지 패치의 모멘트를 [수학식1] 와 같이 정의한다.
Figure 112013068716343-pat00001
그리고 이때의 무게중심 C는 [수학식2] 와 같다.
Figure 112013068716343-pat00002
코너의 중심점을 O 라고 하면, O 에서 C 로 향하는 벡터
Figure 112013068716343-pat00003
를 구할 수 있고, 방향성을 가리키는 θ는 [수학식3]과 같다.
Figure 112013068716343-pat00004
FAST 알고리즘에서 추출된 코너들에 방향성을 적용하기 위해 이미지 패치는 사각형이 아니라 [ - r , r ] 범위의 원이 된다. FAST 알고리즘으로 추출된 특징점에 서술자는 바이너리 기반의 BRIEF 에 회전불변성을 더한다. BRIEF 서술자는 바이너리 강도시험의 이미지 패치 설정에서 바이너리 기반의 서술자를 사용한다. 이때, 바이너리 테스트 τ의 이미지 패치 P는 [수학식 4]와 같이 정의된다
Figure 112013068716343-pat00005
[수학식 4]에서 P (x)는 패치 P와 강렬함 x로 표현된다.
n 바이너리 테스트의 벡터는 [수학식 5]로 표현이 된다.
Figure 112013068716343-pat00006
상기 테스트 기간 동안 패치의 중심은 가우스 분포가 적용된다. 또한, 패치와 회전행렬의 방향을 사용하여 n 차원의 서술자가 구성된다. 이미지 패치는 각도가 2π/30만큼씩 증가되어 나누어지고 n은 256비트로 지정되며 패치의 크기는 31 × 31 이 될 수 있다. 상기 추출된 특징점들은 매칭부로 전달될 수 있다.
매칭부(220)는 특징점 추출부(210)에서 추출된 특징점을 기초로 정확도를 향상시켜 최적 특징점을 선정하고, 상기 선정된 최적 특징점과 저장부(130)에 저장된 데이터 베이스와 매칭시켜 최적 특징점을 선택할 수 있다.
위치 판단부(230)는 상기 매칭부(220)에서 최종적으로 남은 최적 특징점들을 통해 이동로봇의 현재 위치를 알아낼 수 있다.
상기 로봇의 위치를 계산하는 것은 랜드마크의 중심 좌표로부터 카메라까지의 이동 벡터를 구하는 것으로 표현할 수 있다. n개의 대응되는 특징점으로 카메라의 포즈를 계산하는 것은 EPnP 방법을 사용할 수 있다.
EPnP 방법은 먼저 카메라의 내부인자, 데이터 베이스 이미지에서 특징점들의 3차원 좌표 및 2차원 좌표는 알고 있는 것으로 가정할 수 있다.
n 개의 특징점들의 3차원 좌표를 {pi}i=1,..., n 로 정의하고, 각 특징점은 4개의 기준점 {cj}j= 1,...,4 과 동차 무게중심좌표 αij 의 곱으로 표현할 수 있다. 세계 좌표계와 카메라 좌표계를 구분하면 [수학식6]와 같다.
Figure 112013068716343-pat00007
여기서 pi c 는 카메라 캘리브레이션 행렬과 곱해져서 2차원 이미지상의 좌표 ui 로 투영된다. 매칭부(140)에서 선택된 최적 특징점들이 ui를 의미하며 [ui,vi]T로 표현된다.
Figure 112013068716343-pat00008
상기 [수학식 7]의 관계를 지니게 된다. 카메라 캘리브레이션 행렬에서 fu 및 fv 는 초점길이, uc 및 vc는 주점을 의미하며 wi는 스칼라값일 수 있다. [수학식 7] 를 통해 2n×12 크기의 행렬 M 을 구성한다.
Figure 112013068716343-pat00009
[수학식 8]을 풀면 pi c와 pi w의 관계를 통해서 회전 벡터와 이동 벡터를 구할 수 있다. 상기 [수학식 8]에서 계산된 벡터를 통해 이동로봇의 현재 위치를 계산할 수 있다.
이동제어부(240)는 상기 계산된 이동로봇의 현재위치를 기초로 제어신호를 생성할 수 있다.
도 3은 본 발명의 일 실시 예에 따른 이동로봇의 위치인식 장치중의 매칭부의 구성을 도시한 블록도이다.
도 3을 참조하면, 매칭부(220)는 특징점 선정부(310) 및 특징점 매칭부(320)을 포함할 수 있다.
특징점 선정부(310)는 특징점 추출부(210)에서 추출된 특징점들의 정확도를 향상시켜 최적 특징점을 선정해 낼 수 있다. 상기 단계에서는 설치된 카메라의 위치에 따라 매칭점을 바로잡는 보정이 필요할 수 있다. 상기 카메라부(110)에 입력된 이미지에서 추출된 특징점은 충분하지만 이상치가 제거되지 않은 경우 오류가 급격히 증가할 수 있다. 따라서 일치하는 포인트를 정확하게 특정하여야 한다.
특징점 매칭부(230)는 상기 선정된 최적 특징점과 저장부(130)에 저장된 랜드마크의 데이터 베이스를 비교하여 최적 특징점을 선택할 수 있다.
도 4는 본 발명의 일 실시 예에 따른 이동로봇의 위치인식 장치의 특징점 선정부(310)의 구성을 도시한 블록도이다.
도 4를 참조하면 특징점 선정부(310)는 1차 특징점 선정부(311), 2차 특징점 선정부(312) 및 최적 특징점 선정부(313)를 포함할 수 있다.
1차 특징점 선정부(311)는 특징점 추출부(210)에서 추출된 특징점중 저장부(130)에 저장된 랜드마크의 특징점과 가장 일치하는 특징점들의 집합을 선정하여 정확도를 향상시키는 연산을 하여 1차 특징점 집합을 선정할 수 있다. 1차 특징점 선정부(311)에서 선정된 상기 1차 특징점 집합들은 2차 특징점 선정부(312)로 전달될 수 있다.
2차 특징점 선정부(312)는 상기 1차 특징점 선정부(311)에서 선정된 특징점중 저장부(130)에 저장된 랜드마크의 특징점을 기초로 2차 특징점의 집합을 선정하고 정확도를 향상시키는 연산을 할 수 있다. 1차 특징점 선정부(311) 및 2차 특징점 선정부(312)에서 선정된 상기 1차 특징점 집합 및 상기 2차 특징점 집합은 최적 특징점 선정부(313)로 전달될 수 있다.
최적 특징점 선정부(313)는 상기 1차 특징점 집합 및 상기 2차 특징점 집합을 기초로 정확도를 높이는 연산을 하여 최적 특징점을 선택할 수 있다.
도 5는 본 발명의 일 실시 예에 따른 이동로봇의 위치인식 장치의 저장부의 구성을 도시한 블록도이다.
도 5를 참조하면, 저장부(130)에는 이동로봇의 주행 경로상 획득 가능한 랜드마크의 데이터 베이스가 저장되어져 있는 랜드마크 데이터베이스부(133)를 포함할 수 있다. 상기 데이터 베이스는 매칭부에 액세스 될 수 있다.
도 6는 본 발명의 일 실시예에 따른 이동로봇의 위치인식 방법의 수행과정을 도시한 순서도이다.
도 6을 참조하면, 카메라부(110)는 주행경로상의 랜드마크의 이미지를 촬영한다(100). 상기 촬영된 랜드마크의 이미지는 특징점 추출부(210)로 전달될 수 있다.
특징점 추출부(210)는 상기 수신된 랜드마크의 이미지에서 특징점들을 추출한다(S110). 특징점 추출부(210)는 ORB 알고리즘을 통해 특징점들을 추출할 수 있다. 상기 추출된 특징점들은 특징점 선정부(310)로 전달될 수 있다.
특징점 선정부(310)는 특징점 추출부(210)에서 추출된 특징점들을 기초로 정확도를 향상시켜 최적 특징점을 선택한다(S120). 상기 특징점의 정확도를 향상시켜 1차 특징점 집합을 선정하고, 다시 상기 1차 특징점 집합을 기초로 정확도를 향상시켜 2차 특징점 집합을 선정한다. 상기 1차 특징점 집합 및 상기 2차 특징점 집합을 기초로 또 다른 정확도 향상을 위한 연산을 하고 최적 특징점을 선택할 수 있다. 상기 특징점 선정부(310)에서 선정된 최적 특징점들은 특징점 매칭부(320)로 전달될 수 있다.
특징점 매칭부(320)는 상기 최적 특징점들과 저장부(130)에 저장된 랜드마크 데이터 베이스(133)를 비교 판단하여 최적 특징점을 선택한다(S130). 상기 랜드마크와 비교판단하여 해당 특징점이 없을시 단계(S110)을 다시 시행할 수 있다. 단계(S130)에서 선택된 최적 특징점은 위치판단부(230)로 전달될 수 있다.
위치판단부(230)는 상기 선택된 최적 특징점을 기초로 현재위치를 확인한다(S140).
도 7는 본 발명의 일 실시 예에 따른 이동로봇의 위치인식 장치중 특징점 선정부에서 최적 특징점 선택 방법의 수행과정을 도시한 순서도이다.
도 7을 참조하면, 1차 특징점 선정부(311)는 단계(S110)에서 추출된 특징점을 기초로 1차 특징점을 선정한다(S210).
1차 특징점 선정부(311)는 특징점 추출부(210)에서 추출된 특징점을 기초로 2쌍의 1차 이웃특징점 집합을 선정한다(S211). 상기 이웃 특징점을 선정하는 방법은 k-NN(k-nearest Neighbor)알고리즘을 이용할 수 있다.
상기 k-NN(k-nearest Neighbor)알고리즘에서 두가지 매칭점의 집합은 ML = {m L 1, m L 2 ... m L m} 및 MI = {m I 1, m I 2 ... m I n}로 표현할 수 있다. 첫번째 집합인 ML은 실제 랜드마크 크기인F L = {f L 1, f L 2... f L m } 의 크기에 가장 일치하는 적합한 m을 구한다. 이때, f L ={x, y, d}에서 (x,y)는 2차원 위치를 의미하고 d는 서술자를 의미한다. 두번째 집합인 MI는 F I = {f I 1, f I 2... f I n }의 크기에 일치하는 두번째로 적합한 n을 구한다. 다른 방향의 특징점인 m I n 또한 [수학식 9]으로 구해질 수 있다.
Figure 112013068716343-pat00010
1차 특징점 선정부(311)는 상기 선정된 1차 이웃특징점 집합을 기초로 특징점집합들 간의 거리를 계산한다(S212). 최적 특징점을 선정하기 위해 BRIEF 알고리즘을 사용할 수 있다. BRIEF 알고리즘 방식에서는 바이너리 서술자를 사용하기 때문에 2차원의 유클라디안 거리 대신 Hamming 거리를 사용하게 된다. 서술자는 256비트의 문자열로 구성되어 있기 때문에 간단한 비트 연산을 하여 빠른 속도로 비교할 수 있다.
1차 특징점 선정부(311)는 상기 계산된 특징점 집합들을 기초로 비율테스트를 한다(S213). 만약 단계(S212)에서 계산된 1차 특징점집합의 거리가 비교적 가까운 경우 오류가 발생할 수 있다. 이에 따라, 상기 구해진 m, n 특징점의 거리비율은 주어진 임계값 tr 과 비교된다. 상기 거리비율이 임계값 tr 을 넘어가면 특징점은 제외되고, 1차 특징점만 남을 수 있다. 0.65에 해당하는 tr 을 설정할 수 있다.
[수학식 10]에 의해 적절하지 않은 특징점들은 제거된다.
Figure 112013068716343-pat00011
단계(S213)에서 선정된 1차 특징점은 2차 특징점 선정부(312)로 전달된다.
2차 특징점 선정부(312)는 상기 1차 특징점 집합에 포함된 랜드마크 특징점을 기초로 2쌍의 2차 이웃특징점 집합을 선정한다(S221). 상기 2차 이웃특징점 집합을 선정하는 과정은 단계(S211)의 방법과 같을 수 있다.
2차 특징점 선정부(312)는 상기 선정된 2차 이웃특징점 집합을 기초로 특징점집합들의 거리를 계산한다(S222). 상기 특징점집합들의 거리를 계산하는 과정은 단계(S212)의 방법과 같을 수 있다.
2차 특징점 선정부(312)는 상기 계산된 특징점 집합들을 기초로 비율테스트를 한다(S223). 상기 비율테스트의 과정은 단계(S213)의 방법과 같을 수 있다.
최적 특징점 선정부(313)는 상기 선정된 1차 특징점 및 상기 선정된 2차 특징점을 기초로 대칭성 테스트를 한다(S230). 상기 선정된 1차 특징점은 상기 추출된 특징점의 집합일 수 있다. 또한 상기 선정된 2차 특징점은 상기 랜드마크에 저장된 특징점의 집합일 수 있다.
[수학식 11]은 1차 특징점 및 2차 특징점의 대칭성 테스트를 적용하는 식이다.
Figure 112013068716343-pat00012
대칭성 테스트를 통해 대칭이 맞지 않은 2차 특징점은 필터링될 수 있다. 그러나, 이러한 단계를 실시한 경우에도 적절하지 못한 특징점들이 남을 수 있다. 이에 따라, 특징점 사이의 기하학적 관계를 추정하여 최적 특징점을 선정하는 단계가 필요하다.
최적 특징점 선정부(313)는 상기 대칭성 테스트를 거친 특징점의 이상치를 제거한다(S240). 상기 이상치 제거는 RANSAC 알고리즘으로 할 수 있다. 상기 RANSAC 알고리즘을 수행하여 상기 대칭점 테스트까지 완료된 특징점들의 이상치를 제거하고, 최적 특징점이 선택될 수 있다.
도 8은 본 발명의 일 실시예에 따른 랜드마크 데이터베이스에 저장된 자연랜드마크의 예들을 나타내는 도면이다.
도 8을 참조하면, 상기 랜드마크의 데이터베이스에는 자연랜드마크인 포스터(810), 안내표시(820), 소화전(830), 자판기(840)등이 저장될 수 있다.
인공랜드마크를 부착할 수 없는 공간에서 상기 예와 같은 자연랜드마크를 이용하여 위치를 인식하는 방법은 인공랜드의 설치가 불가능한 곳에서 쉽게 위치를 인식할 수 있다.
도 9은 본 발명의 일 실시예에 따른 촬영된 영상에서 추출된 특징점과 랜드마크 데이터베이스애 저장된 랜드마크와 매칭된 예를 보여주는 도면이다.
도 9를 참조하면, 저장부(130)에 저장된 랜드마크 데이터베이스와 특징점 선정부(310)에서 선정된 특징점들이 매칭되는 것을 확인할 수 있다. 상기 데이터베이스에 저장된 랜드마크는 자연 랜드마크 또는 인공 랜드마크가 될 수 있다. 상기 특징점(911), 특징점(921), 특징점(931), 특징점(941)은 저장부(130)에 저장되어 있는 랜드마크의 특징점을 나태내고, 특징점(915), 특징점(925), 특징점(935), 특징점(945)은 특징점 선정부(310)에서 선정된 특징점들을 나타낸다.
특징점(911)과 특징점(915)은 매칭되고 특징점(921)과 특징점(925)은 매칭된다. 특징점(931)과 특징점(935)은 매칭되고 특징점(941)과 특징점(945)은 매칭된다.
도 10는 본 발명의 일 실시예에 따른 이동로봇의 위치인식 장치에서 장애물에 가려진 랜드마크를 인식하는 과정을 보여주는 도면이다.
도 10을 참조하면 이미지 객체(1010) 및 이미지 객체(1050)는 장애물을 나타낸다. 카메라부(110)가 촬영한 영상(1030)의 경우 장애물(1010)이 있음에도 랜드마크(1020)과 매칭이 되는 것을 알 수 있다. 카메라부(110)가 촬영한 영상(1070)의 경우 장애물(1050)이 있음에도 랜드마크(1060)과 매칭이 되는 것을 알 수 있다. 상기 랜드마크가 사람에 가려져 완전한 상태의 영상으로 수신되지 않음에도 특징점을 선정하여 정확하게 인식할 수 있다.
도 11은 본 발명의 일 실시예에 따른 이동로봇의 위치인식 장치의 에러율을 계산하기 위한 위치를 도식화한 도면이다.
도 11을 참조하면, 본 발명의 일 실시예에 따른 이동로봇은 이동하면서 랜드마크를 인식하기 때문에 각각의 위치에 따른 에러율을 계산하여야 한다. 상기 그림은 랜드마크와 이동로봇 사이에서 서로의 거리와 각도에 따른 위치를 나타낸다.
도 12은 본 발명의 일 실시예에 따른 이동로봇의 위치인식 장치의 실험에서 실제 에러율의 평균을 랜드마크의 종류, 거리 및 각도에 따라 산출된 결과를 나타낸 표이다.
도 12를 참조하면, 랜드마크와의 거리와 각도에 따라서 다른 에러율을 보이는 것을 확인할 수 있다. 실제 실험에서 실험방법은 각도와 거리에 따라 영상을 획득하고 각 영상에서 계산된 로봇의 위치와 실제 위치차이를 에러로 계산하였다.
에러율 계산은 [수학식 12]와 같이 구할 수 있다.
Figure 112013068716343-pat00013
포스터의 평균 에러는 0.61%, 층 안내표시는 1.51%, 소화전과 자판기는 각각 1.22%, 1.31%의 에러율을 보였다. 특징점 선정은 동일하게 적용되었지만 모든 매칭 테스트를 거치고 남은 특징점은 랜드마크 마다 차이를 보였다. 평균에러는 1%대로 높은 정확성이 있음을 알 수 있다.
도 13(a), 13(b) 및 13(c)는 본 발명의 일 실시예에 따른 이동로봇의 위치인식 방법을 이용하여 랜드마크가 인식된 지점과 바퀴정보를 이용하여 위치를 인식하는 방법에 따라 이동된 속도에 따른 이동경로를 나타낸 도면이다.
도 13(a)을 참조하면, 속도가 0.2m/s로 비교적 느릴 경우 본 발명과 바퀴정보를 기초로 위치를 계산하는 방법 모두 오차가 크지 않음을 알 수 있다.
도 13(b)을 참조하면, 속도가 0.6m/s인 경우 본 발명은 오차가 적지만 바퀴정보를 기초로 위치를 계산하는 방법은 오차가 누적되어 경로에서 점차 벗어남을 알 수 있다.
도 13(c)을 참조하면, 속도가 1.0m/s로 비교적 빠를 경우 본발명은 오차가 적지만 바퀴정보를 기초로 위치를 계산하는 방법은 누적되는 오차가 매우 커 경로에서 많이 벗어남을 알 수 있다.
도 14(a), 14(b) 및 14(c)는 본 발명의 일 실시예에 따른 이동로봇의 위치인식 방법과 바퀴정보를 이용하여 위치를 인식하는 방법으로 실제 경로에 따른 주행에서 주행횟수에 따른 오차거리를 속도에 따라 나타낸 그래프이다.
도 14(a), 14(b) 및 14(c)를 참조하면, 바퀴정보만을 이용하여 이동로봇의 현재 위치를 판단하는 방법은 오차가 누적되어 계속하여 오차가 증가하지만, 본 발명의 실시 예인 이동로봇의 위치인식 장치에 의한 결과는 인식이 성공할 때마다 로봇의 위치가 업데이트 되므로 오차 누적이 없다는 것을 확인할 수 있다.
본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
이상에서 본 발명의 바람직한 실시예에 대해 도시하고 설명하였으나, 본 발명은 상술한 특정의 바람직한 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형실시가 가능한 것은 물론이고, 그와 같은 변경을 청구범위 기재의 범위 내에 있게 된다.
20: 이동장치 100: 위치인식장치
110: 카메라부 120: 제어부
130: 저장부 210: 특징점 추출부
220: 매칭부 230: 위치 판단부
240: 이동제어부 310: 특징점 선정부
320: 특징점 매칭부 311: 1차 특징점 선정부
312: 2차 특징점 선정부 313: 최적 특징점 선정부
133: 랜드마크 데이터베이스

Claims (20)

  1. 이동로봇의 소정의 위치에 부착되어 이동경로의 영상을 촬영하는 카메라부;
    이동로봇의 경로상 획득가능한 랜드마크의 정보가 저장되어 있는 저장부; 및
    상기 카메라부에서 촬영된 영상 및 상기 저장된 랜드마크의 정보를 기초로 이동로봇의 현재위치를 판단하고 제어신호를 생성하는 제어부를 포함하고,
    상기 제어부는, 상기 카메라부에서 촬영된 영상에서 특징점을 추출하는 특징점 추출부;
    상기 추출된 특징점 및 상기 랜드마크의 정보에서 최적 특징점을 선택하는 매칭부를 포함하며,
    상기 매칭부는, 상기 랜드마크의 정보에서 1차 특징점 집합을 선정하고 상기 특징점에서 2차 특징점 집합을 선정하는 특징점 선정부; 및
    상기 1차 특징점 집합과 상기 2차 특징점 집합을 비교하여 최적 특징점을 선택하는 특징점 매칭부를 포함하는 이동로봇의 위치인식 장치.
  2. 제 1항에 있어서,
    상기 제어부는,
    상기 선택된 최적 특징점을 기초로 이동로봇의 현재위치를 확인하는 위치 판단부; 및
    상기 확인된 이동로봇의 현재위치를 기초로 상기 이동로봇의 위치를 이동시키기 위한 제어신호를 생성하는 이동제어부를 더 포함하는 이동로봇의 위치인식 장치.
  3. 제 1항에 있어서,
    상기 특징점 추출부는,
    상기 카메라부에 촬영된 영상에서 오알비(Oriented FAST and Rotated BRIEF)알고리즘을 이용하여 특징점을 추출하는 것을 특징으로 하는 이동로봇의 위치인식 장치.
  4. 삭제
  5. 제 1항에 있어서,
    상기 특징점 선정부는,
    상기 특징점을 기초로 상기 랜드마크의 정보에서 1차 특징점 집합을 선정하는 1차 특징점 선정부;
    상기 1차 특징점 집합에 포함된 랜드마크 특징점을 기초로 상기 특징점에서 2차 특징점 집합을 선정하는 2차 특징점 선정부; 및
    상기 1차 특징점 집합 및 상기 2차 특징점 집합을 기초로 최적 특징점을 선정하는 최적 특징점 선정부를 포함하는 것을 특징으로 하는 이동로봇의 위치인식 장치.
  6. 제 5항에 있어서,
    상기 1차 특징점 선정부는,
    상기 특징점을 기초로 케이근접이웃(k-NN) 알고리즘방법으로 2쌍의 1차 이웃특징점 집합들을 선정하고, 상기 선정된 1차 이웃특징점 집합들을 기초로 헤밍거리비교를 하여 필터링하고, 상기 필터링된 1차 이웃특징점 집합들을 기초로 비율테스트를 수행하여 상기 1차 특징점 집합을 선정하는 것을 특징으로 하는 이동로봇의 위치인식 장치.
  7. 제 5항에 있어서,
    상기 2차 특징점 선정부는,
    상기 1차 특징점 집합에 포함된 랜드마크 특징점을 기초로 상기 특징점에서 케이근접이웃(k-NN) 알고리즘방법으로 2쌍의 2차 이웃특징점 집합들을 선정하고, 상기 선정된 2차 이웃특징점 집합들을 기초로 헤밍거리비교를 하여 필터링하고, 상기 필터링된 2차 이웃특징점 집합들을 기초로 비율테스트를 수행하여 상기 2차 특징점 집합을 선정하는 것을 특징으로 하는 이동로봇의 위치인식 장치.
  8. 제 5항에 있어서,
    상기 최적 특징점 추출부는,
    상기 선정된 1차 특징점 집합 및 상기 선정된 2차 특징점을 비교하여 대칭성 테스트를 수행하고, 상기 대칭성 테스트를 통과한 특징점들을 란삭(RANSAC) 알고리즘을 이용하여 이상치를 제거하여 상기 최적 특징점을 선정하는 것을 특징으로 하는 이동로봇의 위치인식 장치.
  9. 제 2항에 있어서,
    상기 위치 판단부는,
    상기 이동로봇의 실제 위치를 보정하기 위한 상기 카메라부의 포즈정보를 이피앤피(EPnP) 방법으로 연산하고, 상기 최적 특징점으로 매칭된 실제 랜드마크의 중심 좌표로부터 상기 카메라부까지의 벡터를 산출하며 상기 벡터와 상기 카메라부의 포즈를 기초로 상기 이동로봇의 위치를 판단하는 것을 특징으로 하는 이동로봇의 위치인식 장치.
  10. 제 1항에 있어서,
    상기 랜드마크의 정보는,
    이동로봇이 활동하는 환경에서 발견할 수 있는 랜드마크의 실제 이미지 탬플릿 정보인 것을 특징으로 하는 이동로봇의 위치인식 장치.
  11. 이동로봇의 소정의 위치에 부착되어 이동경로의 영상을 촬영하는 단계; 및
    상기 촬영된 영상 및 저장된 랜드마크의 정보를 기초로 이동로봇의 현재위치를 판단하고 제어신호를 생성하는 단계를 포함하며,
    상기 제어신호를 생성하는 단계는, 상기 촬영된 영상에서 특징점을 추출하는 단계;
    상기 추출된 특징점 및 상기 랜드마크의 정보에서 최적 특징점을 선택하는 단계; 및
    상기 선택된 최적 특징점을 기초로 이동로봇의 현재위치를 판단하는 단계를 포함하며,
    상기 최적 특징점을 선택하는 단계는, 상기 랜드마크 정보에서 1차 특징점 집합을 선정하고 상기 특징점에서 2차 특징점 집합을 선정하는 단계; 및
    상기 1차 특징점 집합과 상기 2차 특징점 집합을 비교하여 최적 특징점을 선정하는 단계를 포함하는 이동로봇의 위치인식 방법.
  12. 삭제
  13. 제 11항에 있어서,
    상기 특징점을 추출하는 단계는,
    상기 영상을 촬영하는 단계에서 촬영된 영상을 오알비(Oriented FAST and Rotated BRIEF) 알고리즘을 이용하여 특징점을 추출하는 단계를 포함하는 것을 특징으로 하는 이동로봇의 위치인식 방법.
  14. 삭제
  15. 제 11항에 있어서,
    상기 최적 특징점은,
    상기 1차 특징점 집합에서 선택된 랜드마크 특징점, 상기 2차 특징점 집합에서 선택된 특징점을 포함하는 것을 특징으로 하는 이동로봇의 위치인식 방법.
  16. 제 11항에 있어서,
    상기 1차 특징점을 선정하는 단계는,
    상기 특징점을 기초로 케이근접이웃(k-NN) 알고리즘방법으로 2쌍의 1차 이웃특징점 집합들을 선정하고, 상기 선정된 1차 이웃특징점 집합들을 기초로 헤밍거리비교를 하여 필터링하고, 상기 필터링된 1차 이웃특징점 집합들을 기초로 비율테스트를 수행하여 상기 1차 특징점 집합을 선정하는 단계를 포함하는 것을 특징으로 하는 이동로봇의 위치인식 방법.
  17. 제 11항에 있어서,
    상기 2차 특징점을 선정하는 단계는,
    상기 1차 특징점 집합에 포함된 랜드마크 특징점을 기초로 상기 특징점에서 케이근접이웃(k-NN) 알고리즘방법으로 2쌍의 2차 이웃특징점 집합들을 선정하고, 상기 선정된 2차 이웃특징점 집합들을 기초로 헤밍거리비교를 하여 필터링하고, 상기 필터링된 2차 이웃특징점 집합들을 기초로 비율테스트를 거쳐 최적 특징점을 선정하는 단계를 포함하는 것을 특징으로 하는 이동로봇의 위치인식 방법.
  18. 제 11항에 있어서,
    상기 최적 특징점을 선정하는 단계는,
    상기 선정된 2차 특징점을 기초로 대칭성 테스트를 수행하는 단계; 및
    상기 대칭성 테스트를 통과한 2차 특징점을 란삭(RANSAC) 알고리즘을 이용하여 이상치를 제거하여 최적 특징점을 선정하는 단계를 포함하는 것을 특징으로 하는 이동로봇의 위치인식 방법.
  19. 제 11항에 있어서,
    상기 이동로봇의 현재위치를 판단하는 단계는,
    상기 이동로봇의 실제 위치를 보정하기 위한 카메라의 포즈정보를 이피앤피(EPnP) 방법으로 연산하는 단계;
    상기 선택된 최적 특징점으로 매칭된 실제 랜드마크의 중심 좌표로부터 상기 카메라까지의 벡터를 산출하는 단계; 및
    상기 벡터와 상기 카메라의 포즈를 기초로 상기 이동로봇의 위치를 판단하는 단계를 포함하는 것을 특징으로 하는 이동로봇의 위치인식 방법.
  20. 이동로봇의 소정의 위치에 부착되어 이동경로의 영상을 촬영하는 카메라부;
    이동로봇의 경로상 획득가능한 랜드마크의 정보가 저장되어 있는 저장부;
    상기 카메라부에서 촬영된 영상 및 상기 저장된 랜드마크의 정보를 기초로 이동로봇의 현재위치를 판단하고 제어신호를 생성하는 제어부; 및
    상기 제어신호를 기초로 구동되는 이동장치를 포함하고,
    상기 제어부는, 상기 카메라부에서 촬영된 영상에서 특징점을 추출하는 특징점 추출부;
    상기 추출된 특징점 및 상기 랜드마크의 정보에서 최적 특징점을 선택하는 매칭부를 포함하며,
    상기 매칭부는, 상기 랜드마크의 정보에서 1차 특징점 집합을 선정하고 상기 특징점에서 2차 특징점 집합을 선정하는 특징점 선정부; 및
    상기 1차 특징점 집합과 상기 2차 특징점 집합을 비교하여 최적 특징점을 선택하는 특징점 매칭부를 포함하는 것을 특징으로 하는 이동로봇.
KR1020130089728A 2013-07-29 2013-07-29 이동로봇의 위치인식 장치, 방법 및 이동로봇 KR101456172B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130089728A KR101456172B1 (ko) 2013-07-29 2013-07-29 이동로봇의 위치인식 장치, 방법 및 이동로봇

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130089728A KR101456172B1 (ko) 2013-07-29 2013-07-29 이동로봇의 위치인식 장치, 방법 및 이동로봇

Publications (1)

Publication Number Publication Date
KR101456172B1 true KR101456172B1 (ko) 2014-10-31

Family

ID=51998975

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130089728A KR101456172B1 (ko) 2013-07-29 2013-07-29 이동로봇의 위치인식 장치, 방법 및 이동로봇

Country Status (1)

Country Link
KR (1) KR101456172B1 (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170107604A (ko) * 2016-03-15 2017-09-26 전자부품연구원 위치 인식 시스템 및 방법
KR101860200B1 (ko) * 2015-05-29 2018-05-23 쿠카 도이칠란트 게엠베하 카메라를 이용한 장치 또는 물체의 선택
KR101961171B1 (ko) * 2017-10-13 2019-03-22 한국과학기술연구원 실내 환경에서 이동하는 로봇의 전역적 자기 위치 추정 시스템 및 이를 이용한 전역적 자기 위치 추정 방법
WO2019194602A1 (ko) * 2018-04-04 2019-10-10 엘지전자 주식회사 위치 보정 기능이 향상된 주행 제어장치 및 이를 이용한 로봇 청소기
WO2020184776A1 (ko) * 2019-03-08 2020-09-17 이봉규 코드 인식을 통한 위치 인식 및 이동경로 설정 방법과 무인 모빌리티와 운영시스템

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090025822A (ko) * 2007-09-07 2009-03-11 (주)로봇에버 표식과 근거리무선통신을 이용한 로봇의 자기위치인식방법, 그를 이용한 로봇의 위치데이터 발생장치 및그를 이용한 로봇
KR20120006407A (ko) * 2010-07-12 2012-01-18 엘지전자 주식회사 로봇 청소기 및 이의 제어 방법
KR20120059428A (ko) * 2010-11-30 2012-06-08 주식회사 유진로봇 과거 지도 데이터에 기반의 이동 로봇 제어 장치 및 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090025822A (ko) * 2007-09-07 2009-03-11 (주)로봇에버 표식과 근거리무선통신을 이용한 로봇의 자기위치인식방법, 그를 이용한 로봇의 위치데이터 발생장치 및그를 이용한 로봇
KR20120006407A (ko) * 2010-07-12 2012-01-18 엘지전자 주식회사 로봇 청소기 및 이의 제어 방법
KR20120059428A (ko) * 2010-11-30 2012-06-08 주식회사 유진로봇 과거 지도 데이터에 기반의 이동 로봇 제어 장치 및 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
논문1.2012.2 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101860200B1 (ko) * 2015-05-29 2018-05-23 쿠카 도이칠란트 게엠베하 카메라를 이용한 장치 또는 물체의 선택
US10095216B2 (en) 2015-05-29 2018-10-09 Kuka Roboter Gmbh Selection of a device or object using a camera
KR20170107604A (ko) * 2016-03-15 2017-09-26 전자부품연구원 위치 인식 시스템 및 방법
KR102147661B1 (ko) * 2016-03-15 2020-08-26 한국전자기술연구원 위치 인식 시스템 및 방법
KR101961171B1 (ko) * 2017-10-13 2019-03-22 한국과학기술연구원 실내 환경에서 이동하는 로봇의 전역적 자기 위치 추정 시스템 및 이를 이용한 전역적 자기 위치 추정 방법
WO2019194602A1 (ko) * 2018-04-04 2019-10-10 엘지전자 주식회사 위치 보정 기능이 향상된 주행 제어장치 및 이를 이용한 로봇 청소기
WO2020184776A1 (ko) * 2019-03-08 2020-09-17 이봉규 코드 인식을 통한 위치 인식 및 이동경로 설정 방법과 무인 모빌리티와 운영시스템

Similar Documents

Publication Publication Date Title
CN109544636B (zh) 一种融合特征点法和直接法的快速单目视觉里程计导航定位方法
Walch et al. Image-based localization using lstms for structured feature correlation
US8380384B2 (en) Apparatus and method for localizing mobile robot
KR20180125010A (ko) 이동 로봇 및 이동 로봇의 제어방법
Tapu et al. A smartphone-based obstacle detection and classification system for assisting visually impaired people
US9275472B2 (en) Real-time player detection from a single calibrated camera
KR101618030B1 (ko) 이동 로봇의 위치 인식 및 주행 제어 방법과 이를 이용한 이동 로봇
JP2018523881A (ja) データを位置合わせする方法及びシステム
Eppenberger et al. Leveraging stereo-camera data for real-time dynamic obstacle detection and tracking
KR101456172B1 (ko) 이동로봇의 위치인식 장치, 방법 및 이동로봇
US8842162B2 (en) Method and system for improving surveillance of PTZ cameras
US20110169923A1 (en) Flow Separation for Stereo Visual Odometry
US11348276B2 (en) Mobile robot control method
Sappa et al. An efficient approach to onboard stereo vision system pose estimation
EP2610783B1 (en) Object recognition method using an object descriptor
US20220156973A1 (en) Information processing apparatus, information processing method, and program
Wu et al. Psdet: Efficient and universal parking slot detection
JP2010033447A (ja) 画像処理装置および画像処理方法
Bogoslavskyi et al. Analyzing the quality of matched 3D point clouds of objects
Cieslewski et al. Matching features without descriptors: implicitly matched interest points
CN109313822B (zh) 基于机器视觉的虚拟墙构建方法及装置、地图构建方法、可移动电子设备
CN116912763A (zh) 一种融合步态人脸模态的多行人重识别方法
Nakashima et al. Object detection by using interframe difference algorithm
Verma et al. Vision based object follower automated guided vehicle using compressive tracking and stereo-vision
Mou et al. Efficient visual odometry estimation using stereo camera

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170829

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180823

Year of fee payment: 5